帶你一文看懂XR虛擬演播廳的技術(shù)支持及拍攝流程

原創(chuàng) 贊收藏 評(píng)論

舉報(bào) 2022-09-21

掃描,分享朋友圈

XR虛擬制作技術(shù)支持

擴(kuò)展現(xiàn)實(shí)（Extended Reality，簡(jiǎn)稱XR），是指通過(guò)計(jì)算機(jī)等多種硬件設(shè)備的手段將真實(shí)與虛擬相結(jié)合，打造一個(gè)可人機(jī)交互的虛擬環(huán)境，這也是AR（增強(qiáng)現(xiàn)實(shí)）/VR（虛擬現(xiàn)實(shí)）/MR（混合現(xiàn)實(shí)）等多種技術(shù)的統(tǒng)稱。

其中VR又叫虛擬現(xiàn)實(shí)（Virtual Reality），即假現(xiàn)實(shí)。具體指的是利用電腦模擬三維空間，通過(guò)感官模擬一種沉浸感和臨場(chǎng)感，就像把人帶到一個(gè)虛擬的仿真世界。

至于AR增強(qiáng)現(xiàn)實(shí)（Augmented Reality），則是現(xiàn)實(shí)世界的Pro版。說(shuō)簡(jiǎn)單點(diǎn)，就是在真實(shí)空間里植入虛假內(nèi)容，把虛擬信息（物體、圖片、視頻、聲音等）映射在現(xiàn)實(shí)環(huán)境中。很明顯，VR是帶你精神穿越，AR則是高樓林立的現(xiàn)實(shí)中，再現(xiàn)海市蜃樓。

MR，混合現(xiàn)實(shí)（MediatedReality），倒可以直接看作是VR/AR結(jié)合體，因?yàn)樗傅氖呛喜F(xiàn)實(shí)和虛擬世界后產(chǎn)生的新可視化環(huán)境。舉個(gè)簡(jiǎn)單的例子，下班回家的你，戴上MR設(shè)備看暴力美劇，施瓦辛格會(huì)跳出傳統(tǒng)屏幕，在你眼前吹胡子瞪眼，甭管你移動(dòng)到哪，他都只對(duì)著你演。

簡(jiǎn)單點(diǎn)說(shuō)，虛擬現(xiàn)實(shí)技術(shù)是利用頭戴設(shè)備模擬真實(shí)世界的3D互動(dòng)環(huán)境；增強(qiáng)現(xiàn)實(shí)則是通過(guò)電子設(shè)備（如手機(jī)、平板、眼鏡等）將各種信息和影像疊加到現(xiàn)實(shí)世界中；混合現(xiàn)實(shí)介于VR和AR之間，在虛擬世界、現(xiàn)實(shí)世界和用戶之間，利用數(shù)字技術(shù)實(shí)現(xiàn)實(shí)時(shí)交互的復(fù)雜環(huán)境。

XR虛擬演播廳拍攝流程

包含設(shè)備：LED屏幕系統(tǒng)、燈光音響、攝像機(jī)系統(tǒng)、攝像機(jī)追蹤系統(tǒng)、控制服務(wù)器、內(nèi)容渲染等服務(wù)器。如果需要更高級(jí)還可加入虛擬人動(dòng)作捕捉系統(tǒng)。

優(yōu)化拍攝方式和提高拍攝質(zhì)量：加入虛擬影棚機(jī)器人精準(zhǔn)控制攝像機(jī)

增加舞臺(tái)互動(dòng)：舞臺(tái)追蹤系統(tǒng)（將燈光和聲音追蹤加入到虛擬舞臺(tái)中來(lái)）

具體拍攝流程則是先通過(guò)專業(yè)技術(shù)人員制作出虛擬場(chǎng)景，將其存儲(chǔ)在（內(nèi)容引擎中）視頻源，包含通過(guò)圖像引擎渲染出來(lái)的虛擬視頻內(nèi)容，然后通過(guò)發(fā)送卡（控制服務(wù)器）將其展示在LED屏幕上（背景層），這對(duì)于LED屏幕的大小并沒(méi)有特別要求，LED屏幕可以只顯示虛擬場(chǎng)景中的部分場(chǎng)景，攝像機(jī)追蹤系統(tǒng)可以通過(guò)移動(dòng)攝像機(jī)，移動(dòng)虛擬場(chǎng)景在LED屏幕上的展示內(nèi)容，并通過(guò)基本透視原理，使LED畫面具有正確的空間關(guān)系，再通過(guò)將攝像機(jī)拍攝的LED屏幕背景、人物及道具（人物層道具層）傳輸?shù)奖O(jiān)視器及記錄拍攝內(nèi)容的服務(wù)器中，使其與虛擬制作出的場(chǎng)景實(shí)時(shí)合成，補(bǔ)全LED屏幕之外的場(chǎng)景內(nèi)容，即拓展現(xiàn)實(shí)VR，實(shí)現(xiàn)所見(jiàn)即所得的虛擬拍攝。若有需要，還可在此基礎(chǔ)上增加AR前景特效，并通過(guò)畫面?zhèn)鬏攲⑺袌?chǎng)景實(shí)時(shí)合成，形成LED屏幕展示內(nèi)容、虛擬拓展內(nèi)容、AR渲染內(nèi)容及人物道具四合一的合成圖像，并實(shí)時(shí)傳輸?shù)浆F(xiàn)場(chǎng)監(jiān)視器設(shè)備和存儲(chǔ)設(shè)備中，實(shí)現(xiàn)所拍既所得。

XR虛擬演播廳拍攝效果

UE（Unreal Engine）內(nèi)容引擎中制作的內(nèi)容是三維并且具有正確透視和空間感的，添加一個(gè)虛擬攝像機(jī)就可以看到引擎空間中的物體。燈光、材質(zhì)等，就像第一視角的3D游戲，通過(guò)將引擎中的虛擬攝像機(jī)與拍攝場(chǎng)地中的真實(shí)物理攝像機(jī)的物理位置、攝像機(jī)參數(shù)等完全匹配，讓真實(shí)的物理相機(jī)去驅(qū)動(dòng)引擎中的虛擬相機(jī)，那么他們看到的空間是完全一致的，這需要用光學(xué)攝像機(jī)跟蹤系統(tǒng)實(shí)時(shí)將數(shù)據(jù)傳輸給控制服務(wù)器和內(nèi)容引擎，目前主流的光學(xué)攝像機(jī)追蹤系統(tǒng)誤差在2mm左右。足以保障虛擬場(chǎng)景的真實(shí)感。

本文系作者授權(quán)數(shù)英發(fā)表，內(nèi)容為作者獨(dú)立觀點(diǎn)，不代表數(shù)英立場(chǎng)。
轉(zhuǎn)載請(qǐng)?jiān)谖恼麻_(kāi)頭和結(jié)尾顯眼處標(biāo)注：作者、出處和鏈接。不按規(guī)范轉(zhuǎn)載侵權(quán)必究。