轉(zhuǎn)載：游戲茶館 文/月下

去年12月，我有幸與騰訊虛擬偶像星瞳背后的運(yùn)營(yíng)團(tuán)隊(duì)成員進(jìn)行過(guò)一番交流，通過(guò)騰訊CDD虛擬人業(yè)務(wù)線負(fù)責(zé)人ice與騰訊QQ炫舞系列運(yùn)營(yíng)負(fù)責(zé)人Nina之口，我知道了IEG方面對(duì)于星瞳的投入與重視，同時(shí)也看到了騰訊在虛擬人業(yè)務(wù)上的強(qiáng)勢(shì)以及技術(shù)積累。

在那次采訪中，我曾抱著開玩笑心態(tài)給ice說(shuō)“你看現(xiàn)在UE5測(cè)試版已經(jīng)發(fā)布了，是否考慮迭代UE5？”，而ice真的一臉淡定的告訴我她們真的有在同步研究UE5的一些技術(shù)，并且準(zhǔn)備應(yīng)用在星瞳之上。

當(dāng)時(shí)的ice并沒有告訴我外界看到這讓人興奮的東西具體需要多久，但我確實(shí)沒想到星瞳的UE5嘗試會(huì)來(lái)的這么快，甚至比UE5正式版的發(fā)布還早了10天。直到后來(lái)我才知道，這短短49秒舞蹈視頻背后是星瞳團(tuán)隊(duì)近4個(gè)月時(shí)間的心血成果。

“我們希望讓外界直到星瞳背后的團(tuán)隊(duì)每天都在做些什么，星瞳企劃具體是怎么在運(yùn)作，星瞳對(duì)于騰訊的大家意味著什么，而騰訊的同學(xué)各自又在其中扮演著什么樣的角色？”

ice這次不是一個(gè)人來(lái)，同時(shí)還有騰訊互娛內(nèi)容生態(tài)部的總經(jīng)理“光芒”，跟我一聊就是2個(gè)小時(shí)。

01

開場(chǎng)前的寒暄

茶館：兩位好呀，老規(guī)矩，請(qǐng)兩位先自我介紹一下吧。

ice：大家好我是ice，騰訊互娛內(nèi)容生態(tài)部虛擬人業(yè)務(wù)負(fù)責(zé)人，去年和大家聊過(guò)星瞳的故事。今天的主角是光芒，我就負(fù)責(zé)暗中觀察啦。

光芒：大家好我是騰訊互娛內(nèi)容生態(tài)部（簡(jiǎn)稱CDD）的總經(jīng)理，大家都叫我光芒。

茶館：光芒好，ice也別閑著沒事兒嘮兩句不是（笑）。好了我們回歸正題，其實(shí)關(guān)于CDD很多讀者相信就算是不少業(yè)內(nèi)朋友都會(huì)覺得比較陌生，這里還是麻煩光芒簡(jiǎn)單介紹一下CDD吧。

光芒：當(dāng)然沒問(wèn)題。CDD全稱Content Development Department，成立于2020年底，是隸屬于騰訊IEG事業(yè)群下的獨(dú)立部門，下面有虛擬人、虛擬制片等多個(gè)業(yè)務(wù)線，為騰訊IEG乃至整個(gè)騰訊各事業(yè)群提供內(nèi)容制作技術(shù)相關(guān)的支持，對(duì)內(nèi)扮演著內(nèi)容制作中臺(tái)的角色。

CDD作為一個(gè)單獨(dú)的部門，我們成立的定位就是希望探索游戲引擎在非游戲領(lǐng)域的應(yīng)用，這里面涉及很多過(guò)往我們并未嘗試過(guò)的技術(shù)點(diǎn)，也是嘗試將游戲技術(shù)應(yīng)用到不同的領(lǐng)域中，這其中包含了實(shí)時(shí)渲染、實(shí)時(shí)交互、CG和VFX技術(shù)、擬真以及其他傳統(tǒng)影視行業(yè)應(yīng)用等。

這其中所需要的基礎(chǔ)能力是虛擬世界與真實(shí)世界在時(shí)間、空間上的對(duì)位問(wèn)題，也是我們核心研究的課題， CDD的虛擬業(yè)務(wù)線主要就是解決這些問(wèn)題。

茶館：這里我有一個(gè)問(wèn)題，也是我去年12月采訪后才想到的，當(dāng)時(shí)我是認(rèn)為星瞳是騰訊IEG內(nèi)部多部門在協(xié)同沒有明確的歸屬，但目前看來(lái)CDD似乎是扮演著“主軸”?

光芒：主軸談不上，CDD、騰訊QQ炫舞項(xiàng)目組、騰訊人工智能實(shí)驗(yàn)室（AI Lab）等等不同的部門都有明確分工，各司其職。

比如QQ炫舞項(xiàng)目組，因?yàn)樾峭Q生于《QQ炫舞》系列游戲，所以炫舞項(xiàng)目組主要負(fù)責(zé)星瞳I(xiàn)P的定位、特殊節(jié)點(diǎn)星瞳的物料以及商務(wù)合作，并且星瞳也依然是《QQ炫舞》的虛擬代言人這一點(diǎn)是不會(huì)變的，而AI Lab在中國(guó)乃至世界的人工智能領(lǐng)域都有著極高的權(quán)威，所以像星瞳動(dòng)捕數(shù)據(jù)修正、鏡頭算法的很多技術(shù)處理我們都會(huì)跟AI Lab積極溝通合作。

CDD負(fù)責(zé)的板塊主要在內(nèi)容策劃、直播運(yùn)營(yíng)、離線視頻等部分，所以從用戶的感受上來(lái)說(shuō)，大家日常看到關(guān)于星瞳的部分，主要是CDD在負(fù)責(zé)的，但是還有很多大家看不到的背后工作，是由其他很多部門來(lái)合作的。

茶館：我的理解是，類似一些游戲里常駐卡池與活動(dòng)UP卡池的相處狀態(tài)？你們是常駐，其他的一些部門是活動(dòng)UP？

光芒：可以這么理解。比如前期有部門支撐了某個(gè)模塊，隨著項(xiàng)目的開展，這個(gè)模塊成熟應(yīng)用以后，相關(guān)部門也就自動(dòng)淡出了；相反，如果在項(xiàng)目運(yùn)轉(zhuǎn)中我們需要其他部門的協(xié)同與幫助，那么隨時(shí)有可能就會(huì)拉對(duì)應(yīng)的職能團(tuán)隊(duì)加入支持，這個(gè)主要還是看星瞳這個(gè)項(xiàng)目的實(shí)際需求，當(dāng)然從目前的情況來(lái)看，在直播板塊所應(yīng)用到的技術(shù)基本都是由CDD來(lái)負(fù)責(zé)的。

茶館：這個(gè)解釋很好，打消了我之前的一些困惑，好了那我們今天的采訪就算正式開始了。

ice：好，正式開始。

茶館：首先我想問(wèn)問(wèn)大伙最近都很關(guān)心的問(wèn)題吧，其實(shí)這也是一直以來(lái)星瞳粉絲或者說(shuō)外界都比較陌生的，因?yàn)榧夹g(shù)，因?yàn)轫?xiàng)目定位，甚至是因?yàn)轵v訊對(duì)星瞳的很多東西存在一個(gè)似是而非的理解狀態(tài)，所以也希望借著這個(gè)機(jī)會(huì)好好聊聊星瞳企劃的一些故事，光芒你準(zhǔn)備好了嗎?

光芒：當(dāng)然，我們也希望多交流。

茶館：既然如此我先來(lái)個(gè)重量級(jí)的，作為虛擬偶像的星瞳和商業(yè)化之間的關(guān)系你們是怎么看待和處理的？

光芒：是個(gè)好問(wèn)題，也有很多小星星之前非常關(guān)心這個(gè)問(wèn)題。

其實(shí)外界一直有聲音說(shuō)，騰訊做星瞳這個(gè)項(xiàng)目就是做著玩，不在乎收益，事實(shí)情況不是這樣的，對(duì)于任何一個(gè)商業(yè)項(xiàng)目來(lái)說(shuō)，都必然會(huì)有商業(yè)化的目標(biāo)，只是看目標(biāo)到底是什么，如何實(shí)現(xiàn)。

茶館：事實(shí)不是這樣嗎？(笑)

光芒：實(shí)際的情況是不管是星瞳這個(gè)項(xiàng)目還是CDD其他所負(fù)責(zé)的項(xiàng)目，都希望可以走上一條內(nèi)容、商業(yè)都能成功的道路，特別是內(nèi)容這種本來(lái)就難以證明什么叫做成功的形式來(lái)說(shuō)，商業(yè)化的收益都是非常有說(shuō)服力的一項(xiàng)指標(biāo)。

很多人包括一些業(yè)內(nèi)人士都問(wèn)我們說(shuō)以星瞳這個(gè)項(xiàng)目投入體量基本上不太可能回本吧，真實(shí)情況也是這樣，星瞳的項(xiàng)目投入極大，有很多小星星包括業(yè)內(nèi)人士也在猜測(cè)單場(chǎng)直播的投入有多少，我也看到了，但是不樂(lè)觀的說(shuō)，目前星瞳的實(shí)際投入比大家的猜測(cè)還要大不少。

茶館：所以，你們是怎么考慮這個(gè)問(wèn)題的呢？

光芒：從去年開始我們就在思考這個(gè)問(wèn)題，這期間我們捋清楚了兩個(gè)邏輯，簡(jiǎn)單歸納就是通過(guò)成本控制與TOB型商業(yè)模式去打破這個(gè)商業(yè)循環(huán)。

成本控制這個(gè)很好理解，從去年開始就關(guān)注星瞳的粉絲肯定會(huì)有最直觀的感受，直播的整體效果在逐步提升，但是與大家感受相反的是，實(shí)際平均每場(chǎng)直播成本卻在逐步下降。

這其中涉及到我們?cè)谝娑说墓δ堋⒉寮拈_發(fā)，直播管線上的流程優(yōu)化，單場(chǎng)人力投入優(yōu)化、提升直播棚的使用效率等等。事實(shí)上，如果今天放到全行業(yè)來(lái)看，做一場(chǎng)星瞳同樣品質(zhì)的直播，我相信CDD的成本會(huì)是市面上解決方案里最低的。

隨著星瞳影響力的不斷擴(kuò)大，目前也有很多公司內(nèi)外的客戶找到我們，希望由我們來(lái)提供工具、產(chǎn)品甚至解決方案，對(duì)于CDD目前看起來(lái)的最好的商業(yè)化模式，也是對(duì)外進(jìn)行工具產(chǎn)品或者解決方案的打包售賣。

簡(jiǎn)單來(lái)說(shuō)，在虛擬人這條線上，星瞳可能會(huì)是個(gè)投入大于回報(bào)的項(xiàng)目，甚至在比較長(zhǎng)的時(shí)間內(nèi)都會(huì)持續(xù)這樣的情況，但這不代表我們不在乎星瞳的IP商業(yè)化收入，這并不矛盾，我們也在積極探索。另外，通過(guò)我們的技術(shù)解決方案，為虛擬人行業(yè)甚至是傳統(tǒng)行業(yè)提供我們的能力，來(lái)獲得商業(yè)回報(bào)，很快大家也會(huì)看到更多使用了CDD技術(shù)的虛擬人登場(chǎng)。

茶館：聽起來(lái)已經(jīng)有元宇宙的感覺了，我看有不少小星星的評(píng)論里提到了元宇宙。

光芒：事實(shí)上我們部門內(nèi)部是不允許提“元宇宙”這個(gè)詞的（笑），目前這個(gè)詞還是太空洞了，不同的人對(duì)于這個(gè)詞的理解都不太一樣，這很容易造成內(nèi)部溝通上的錯(cuò)位，我們還是希望能把，虛擬和現(xiàn)實(shí)的空間時(shí)間對(duì)位、實(shí)時(shí)交互這兩項(xiàng)最基礎(chǔ)的能力給做扎實(shí)。同時(shí)我也希望工具人團(tuán)隊(duì)是個(gè)踏實(shí)做事的團(tuán)隊(duì)，不要浮躁，好的數(shù)據(jù)人人都喜歡，但好的數(shù)據(jù)應(yīng)該是你認(rèn)真做事所帶來(lái)的結(jié)果，而不是把好的數(shù)據(jù)當(dāng)成目的，因?yàn)閮H僅想要好的數(shù)據(jù)，那方法可太多了。

茶館：我覺得， 小星星們就只聽了光芒這一番話就可以安下心慢慢閱讀后面的內(nèi)容了。

ice：所以有一點(diǎn)小星星們可以放心的是，星瞳是CDD自成立以來(lái)最重視的項(xiàng)目，也會(huì)是CDD未來(lái)幾年內(nèi)容策劃、技術(shù)實(shí)踐、商業(yè)探索上的核心項(xiàng)目。

02

積累經(jīng)驗(yàn)與解決問(wèn)題

茶館：不好意思強(qiáng)行分了個(gè)段，光芒實(shí)在太能聊了。

光芒：不好意思，但是這才剛開始。

ice：冒泡防踢。

茶館：很多問(wèn)題已經(jīng)在前面得到答案了，所以我們不妨聊點(diǎn)稍微輕松點(diǎn)的話題，比如最近被小星星們大溜特溜的《TOMBOY》以及4月8日的“神回”，你們對(duì)這天的直播感覺如何？

光芒：其實(shí)這次技術(shù)測(cè)試回準(zhǔn)備了很久，算是個(gè)階段性成果吧，對(duì)我們來(lái)說(shuō)經(jīng)過(guò)了8個(gè)多月，技術(shù)方面的準(zhǔn)備總算是到了可用的程度。原本其實(shí)在技術(shù)測(cè)試回我們準(zhǔn)備了很多新的技術(shù)點(diǎn)，但是在彩排過(guò)程中發(fā)現(xiàn)沒有達(dá)到我們的要求，所以臨時(shí)拿掉了，會(huì)在優(yōu)化后再和大家見面的。很開心大家會(huì)喜歡這次直播，星瞳和整個(gè)工具人團(tuán)隊(duì)都很開心。

茶館：差點(diǎn)忘了，恭喜千艦達(dá)成。

光芒：謝謝，我們也對(duì)4月8日整場(chǎng)直播進(jìn)行了詳細(xì)復(fù)盤，開心歸開心，但也總結(jié)了不少問(wèn)題。

茶館：對(duì)，我還是想問(wèn)近期吵得特別熱鬧的一個(gè)話題，就是“導(dǎo)入引擎的到底是什么數(shù)據(jù)呢？”

光芒：最近這個(gè)問(wèn)題有不少朋友是比較關(guān)心的，小星星們也很關(guān)心（笑），簡(jiǎn)單來(lái)說(shuō)導(dǎo)入引擎的數(shù)據(jù)是未經(jīng)處理或者自動(dòng)簡(jiǎn)單清洗后的骨骼體數(shù)據(jù)，當(dāng)然這么說(shuō)很多人會(huì)不太理解，這其中涉及到CDD在星瞳直播的運(yùn)轉(zhuǎn)機(jī)制。

茶館：具體運(yùn)轉(zhuǎn)機(jī)制指的是什么呢，比如彩排？彩排的環(huán)節(jié)對(duì)于星瞳的直播來(lái)說(shuō)是必要的嗎?

光芒：在正式的直播過(guò)程中，整體管線說(shuō)起來(lái)是比較簡(jiǎn)單的，通過(guò)光學(xué)動(dòng)捕收集到的數(shù)據(jù)直接發(fā)送到我們現(xiàn)場(chǎng)渲染機(jī)中，然后所有渲染機(jī)的畫面匯入到導(dǎo)播臺(tái)中，最后經(jīng)過(guò)導(dǎo)播臺(tái)進(jìn)入錄機(jī)中然后推流，也就是大家最終所看到的畫面。

當(dāng)然，你提到的彩排也是非常必要的，這次我們也放出了彩排的花絮，其中的“靜電”并不是節(jié)目效果，其實(shí)是頭發(fā)結(jié)算上的bug，類似這樣的bug在彩排過(guò)程中我們發(fā)現(xiàn)了50多個(gè)，可重現(xiàn)只有10來(lái)個(gè)，也就是說(shuō)還有非常多的bug我們無(wú)法重現(xiàn)，也就無(wú)法保證在正式直播的穩(wěn)定性，解決這些問(wèn)題是比較頭疼的，所以其實(shí)細(xì)心的小星星也會(huì)發(fā)現(xiàn)，在正式直播里星瞳的頭發(fā)是沒有彩排的時(shí)候那么蓬松的，正式直播前我們調(diào)低了相關(guān)的參數(shù)，算是為了直播效果的穩(wěn)定做的妥協(xié)。當(dāng)然在技術(shù)測(cè)試回的正式直播中，也依然還是出現(xiàn)了不少bug的。

我前面講到的那個(gè)流程，是基本的大體管線，但因?yàn)橹辈?nèi)容的不同使用的設(shè)備也會(huì)調(diào)整，相應(yīng)的現(xiàn)場(chǎng)布局與安排就會(huì)發(fā)生變化。4月8日的UE4測(cè)試直播，CDD團(tuán)隊(duì)一共用到了超過(guò)20臺(tái)渲染機(jī)來(lái)保證整體效果，其中有部分鏡頭的渲染機(jī)是一主一備冗余配置的，如果出現(xiàn)問(wèn)題會(huì)立即做切換。

茶館：我是外行，但我想知道20臺(tái)渲染機(jī)采集數(shù)據(jù)是什么概念?

光芒：我不知道其他虛擬人團(tuán)隊(duì)是怎么做的，但是我理解20臺(tái)渲染機(jī)并不算是個(gè)很值得拿出來(lái)講的地方。

渲染機(jī)的問(wèn)題先放一放，后面在鏡頭環(huán)節(jié)里我會(huì)提到。實(shí)際上在這8個(gè)多月的直播過(guò)程中，我們解決了幾大類問(wèn)題。因?yàn)椴煌趥鹘y(tǒng)真人直播，3D虛擬偶像在虛擬環(huán)境下的直播有著非常多的難點(diǎn)，主要有：

第一是動(dòng)捕。其實(shí)動(dòng)捕技術(shù)算是整個(gè)管線中技術(shù)比較成熟的了，但是在直播中應(yīng)用動(dòng)捕，最大的難點(diǎn)還是如何剔除掉“臟數(shù)據(jù)”，包括丟點(diǎn)、掉點(diǎn)或者抖動(dòng)，這是目前無(wú)法避免的技術(shù)問(wèn)題，而且十分影響觀感，初期我們只能告知星瞳盡量避免做一些會(huì)造成人物穿模的動(dòng)作，現(xiàn)在我們能通過(guò)軟件升級(jí)和算法的方式做到骨骼體數(shù)據(jù)的盡量精準(zhǔn)。

第二是鏡頭。在中秋回直播的時(shí)候，我們?cè)谶\(yùn)鏡上出比較嚴(yán)重的問(wèn)題，其實(shí)在傳統(tǒng)節(jié)目制作中是有細(xì)分的“導(dǎo)播”這個(gè)崗位的，我們當(dāng)時(shí)并沒有，所以在生日回，我們請(qǐng)了傳統(tǒng)經(jīng)驗(yàn)豐富的導(dǎo)播來(lái)配合，并且調(diào)了一臺(tái)專業(yè)導(dǎo)播臺(tái)進(jìn)棚，解決了“傳統(tǒng)導(dǎo)播不會(huì)操作引擎，操作引擎的工具人不擅長(zhǎng)調(diào)度鏡頭”的難點(diǎn)，各自發(fā)揮特長(zhǎng)，大家都很舒坦。

我們?cè)诂F(xiàn)場(chǎng)配置了兩大類攝影機(jī)，一類是真實(shí)的攝影機(jī)，通過(guò)關(guān)聯(lián)引擎內(nèi)的虛擬攝影機(jī)，將空間位置信息、光圈、焦距等數(shù)據(jù)傳遞給引擎，再由引擎渲染對(duì)應(yīng)的畫面。這些真實(shí)攝影機(jī)，我們配備了3臺(tái)，分別是搖臂、游機(jī)和固定機(jī)位，搖臂是之前萬(wàn)子姐提到的那臺(tái)，我們也請(qǐng)了專業(yè)的傳統(tǒng)攝影師來(lái)操作，當(dāng)然為了優(yōu)化成本，我們也不會(huì)每場(chǎng)直播都請(qǐng)導(dǎo)播老師或者攝影老師。（笑）

另外一類攝影機(jī)是引擎里的虛擬攝影機(jī)，這也能充分發(fā)揮虛擬直播的優(yōu)勢(shì)，事實(shí)上從生日會(huì)開始，我們意識(shí)到虛擬攝影機(jī)的控制方面，我們遠(yuǎn)遠(yuǎn)不如asoul做得好，由于星瞳在生日會(huì)前都是一個(gè)人在直播的，所以我們沒有開發(fā)綁定在角色身上并且自動(dòng)跟隨角色的鏡頭，這個(gè)問(wèn)題到了生日會(huì)聯(lián)動(dòng)的時(shí)候才被發(fā)現(xiàn)，因?yàn)槿f(wàn)萬(wàn)和冰糖來(lái)了以后，要即時(shí)給到某一位鏡頭是實(shí)現(xiàn)不了的，后續(xù)我們也立即做了專項(xiàng)的開發(fā)。

多個(gè)鏡頭通過(guò)多臺(tái)渲染機(jī)渲染，匯入導(dǎo)播臺(tái)，由導(dǎo)播老師做畫面切換，這就是我們常用的解決方案。當(dāng)然這里就牽扯到多個(gè)機(jī)位之間畫面同步的問(wèn)題，這個(gè)問(wèn)題在現(xiàn)實(shí)世界是不太會(huì)出現(xiàn)的，因?yàn)樵诂F(xiàn)實(shí)世界里時(shí)間線是單向的，但是在虛擬世界里，由于不同渲染機(jī)的渲染時(shí)間并不一致，因此如果大家仔細(xì)看的話也會(huì)發(fā)現(xiàn)，星瞳復(fù)雜的舞蹈或者時(shí)長(zhǎng)較長(zhǎng)的舞蹈前都會(huì)有一個(gè)空間及鏡頭對(duì)位的過(guò)程，同樣的，在舞蹈結(jié)束后回到主渲染機(jī)上的也會(huì)重復(fù)這一過(guò)程。

第三是渲染效率的問(wèn)題。這個(gè)問(wèn)題比較復(fù)雜，涉及的面也比較多，其實(shí)和大家猜測(cè)的不一致，我們渲染機(jī)所使用的顯卡是3090，我們也嘗試過(guò)使用a6000這樣的專業(yè)顯卡，但是效果并不理想，容易出現(xiàn)衣服、頭發(fā)結(jié)算失效的問(wèn)題，這里面還涉及到驅(qū)動(dòng)層面的開發(fā)，所以我們還是使用的3090，并且每一臺(tái)渲染機(jī)都是獨(dú)立運(yùn)轉(zhuǎn)的，并沒有采用集群渲染或者云渲染的模式。這對(duì)整個(gè)工程的性能提出了非常大的挑戰(zhàn)，因?yàn)橹辽僖ＷC40-50幀的渲染效率，所以無(wú)論是模型、綁定、解算、場(chǎng)景地編、燈光、TA各個(gè)模塊的同學(xué)都需要一起來(lái)解決這個(gè)問(wèn)題，拿這次的頭發(fā)舉例，這次的頭發(fā)一共做了20多版，最終這一版使用了9000根頭發(fā)，觀感和渲染性能上能達(dá)到比較好的平衡。從目前優(yōu)化的情況來(lái)看，我們目前的渲染技術(shù)能做到星瞳這樣精度模型，在同場(chǎng)景下3-4人的實(shí)時(shí)渲染。

第四是燈光，舞臺(tái)表演是無(wú)法離開燈光的，當(dāng)然目前我們還是用的比較笨的辦法，就是在引擎里操作燈光，事先編排燈光序列，但是這對(duì)舞蹈彩排的難度提升了不少，如果你仔細(xì)看是能看出十連跳的某段舞蹈中燈光出現(xiàn)問(wèn)題的狀況，未來(lái)的規(guī)劃是通過(guò)我們?cè)谔摂M制片上的燈光方案來(lái)解決，這樣燈光工具人也可以通過(guò)燈控臺(tái)來(lái)實(shí)時(shí)調(diào)整燈光了，比如星瞳覺得這個(gè)面光太暗了，燈光工具人可以馬上推上去，而不是在引擎里去調(diào)試。當(dāng)然燈光也牽扯到渲染效率的問(wèn)題，這里就不展開講了，確實(shí)在較早直播過(guò)程中，也因?yàn)闊艄鈫?wèn)題造成某些渲染機(jī)的性能極劇下降的情況。

哎呀，一口氣講了這么多聽起來(lái)很晦澀的內(nèi)容，我收一下再回到“為什么需要彩排”的問(wèn)題其實(shí)就很好理解了。

茶館：所以彩排其實(shí)不僅是為直播負(fù)責(zé)，同時(shí)也能看作是你們?cè)谶@個(gè)過(guò)程中對(duì)團(tuán)隊(duì)的無(wú)數(shù)場(chǎng)反復(fù)試煉。

ice：對(duì)于星瞳與CDD團(tuán)隊(duì)來(lái)說(shuō)，這確實(shí)是最好的發(fā)現(xiàn)問(wèn)題與解決問(wèn)題的方式之一。

當(dāng)然還有很多待解決的問(wèn)題，比如實(shí)體鏡頭的防抖問(wèn)題等，這些問(wèn)題需要依靠虛擬制片的技術(shù)一起來(lái)解決。

茶館：真不容易，我相信不管是部門內(nèi)部還是對(duì)于觀眾而言，大家都能明顯感覺到星瞳身上的技術(shù)越來(lái)越成熟，這些都是長(zhǎng)期不斷持續(xù)積累的下來(lái)的結(jié)果。

光芒：我認(rèn)為這些經(jīng)驗(yàn)對(duì)我們來(lái)說(shuō)是個(gè)很好的沉淀，當(dāng)然技術(shù)只是一方面。

其實(shí)看看我們部門的名字叫做內(nèi)容生態(tài)部，而不是內(nèi)容技術(shù)生態(tài)部，我們認(rèn)為內(nèi)容包含兩個(gè)模塊，前段是內(nèi)容策劃，后段是技術(shù)。必須在內(nèi)容策劃，或者內(nèi)容創(chuàng)意上做得好，再加上足夠好的技術(shù)來(lái)表現(xiàn)才能呈現(xiàn)最好的內(nèi)容，這兩者缺一不可。好在這兩者都是一個(gè)逐步積累的過(guò)程，我們也逐漸摸到了一些方向，后續(xù)我們也會(huì)啟動(dòng)星瞳的故事敘事，以及新一輪美術(shù)風(fēng)格上的優(yōu)化了。

在前面介紹CDD部門愿景的那里我也提到了，CDD是希望用游戲引擎去探索游戲與非游戲領(lǐng)域應(yīng)用，這里面如果細(xì)分的話，其實(shí)有各種不同的應(yīng)用，包括虛擬人進(jìn)入現(xiàn)實(shí)世界，虛擬人在虛擬空間，真人進(jìn)入虛擬空間等多種不同的組合，各自代表著不同領(lǐng)域與技術(shù)方向的探索。

所以，包括星瞳在內(nèi)的CDD部門所有項(xiàng)目，我們都在不斷去嘗試解決這其中的共性問(wèn)題。

茶館：那我真的很希望，能夠盡早看到那么一天。說(shuō)到這里，我有個(gè)問(wèn)題想問(wèn)，星瞳那個(gè)UE5的視頻你們做了多久？

光芒：前后算起來(lái)大概有三個(gè)多月的時(shí)間。

茶館：這么久?

ice：這里我說(shuō)兩句，因?yàn)閁E5到現(xiàn)在正式版也剛剛上線，它現(xiàn)在還不是一個(gè)非常穩(wěn)定的商用狀態(tài)。

光芒：ice說(shuō)得對(duì)，CDD之前在UE4管線上大概花了8個(gè)多月的時(shí)間，跑通UE5管線需要的時(shí)間可能會(huì)比這更長(zhǎng)，很多東西都要從0開始，包括有非常多硬件接口需要重新適配、模型資產(chǎn)的重新制作，事實(shí)上這次UE5的視頻里的模型是全部重新制作的，所以才花費(fèi)了這么久的時(shí)間，但是實(shí)際來(lái)說(shuō)UE5我們還沒有吃透，現(xiàn)在還僅僅是預(yù)研階段。

茶館：雖然但是，我先放個(gè)桃子在這里不過(guò)分吧。

光芒：我們其實(shí)比大家更希望能盡快用上UE5，敬請(qǐng)期待吧。

03

虛擬制片與CDD與IEG

茶館：聊到這里，相信讀者對(duì)星瞳背后工業(yè)化制作邏輯已經(jīng)有相當(dāng)深刻的了解了，那么能不能講一講CDD在虛擬制片這塊的能力，我聽說(shuō)CDD或許是目前國(guó)內(nèi)游戲企業(yè)里最懂虛擬制片的團(tuán)隊(duì)。那么研究虛擬制片這么久，CDD對(duì)于虛擬制片最大的感受是什么?

光芒：“最懂”真的不敢這么說(shuō)，傳統(tǒng)影視行業(yè)也探索了幾年，只能說(shuō)我們?cè)贚ED虛擬制片做得比較早，在部門成立之初就立項(xiàng)了。

這項(xiàng)技術(shù)和星瞳的虛擬人直播技術(shù)還略有一點(diǎn)差異，所見即所得是虛擬制片的優(yōu)勢(shì)，制造一個(gè)虛擬的環(huán)境，達(dá)到以假亂真的效果。由于虛擬制片技術(shù)解釋起來(lái)比較復(fù)雜，還是看一個(gè)短片吧，比較容易理解，這是我們部門今年年會(huì)制作的內(nèi)部測(cè)試片，在后半段有拍攝花絮，整段片子都是在LED虛擬拍攝棚拍攝的，能很好的展現(xiàn)這個(gè)技術(shù)的應(yīng)用場(chǎng)景。

《鳳嬌·呸的奇幻歷險(xiǎn)》精華剪輯+幕后揭秘

傳統(tǒng)的制片環(huán)境下，現(xiàn)場(chǎng)拍攝與后期是分開的，如果這個(gè)片子涉及很多特效，那么就會(huì)非常考驗(yàn)演員以及導(dǎo)演組的個(gè)人功底，因?yàn)槠錄]有身臨其境的感覺，需要依靠想象與臺(tái)詞調(diào)動(dòng)情緒，如果后期特效制作過(guò)程中發(fā)現(xiàn)某個(gè)鏡頭或者什么不對(duì)，那么大概率你需要重拍。

而在虛擬制片的環(huán)境下，將資產(chǎn)與特效前置，不管是導(dǎo)演還是演員都能實(shí)時(shí)感受接近成片的現(xiàn)場(chǎng)效果，這個(gè)效率太高了，對(duì)于任何一個(gè)工業(yè)級(jí)產(chǎn)品來(lái)說(shuō)，所見即所得都是令人興奮的。

茶館：所以，除了在影視上，虛擬制片目前在其他領(lǐng)域有哪些比較成熟的使用案例?

光芒：發(fā)布會(huì)、音樂(lè)會(huì)、各種大型活動(dòng)都是非常典型的應(yīng)用場(chǎng)景，因?yàn)樘摂M制片可以把原本一個(gè)舞臺(tái)的束縛給打破，將背后的空間擴(kuò)展成你希望呈現(xiàn)的樣子，可以是雪地、可以是沙漠、甚至是太空。

再來(lái)就是虛擬人，這個(gè)把星瞳項(xiàng)目上我們積累的相應(yīng)能力再應(yīng)用到虛擬制片中，但我們的期望遠(yuǎn)不止這些，我們希望能夠更多借助于虛擬制片的技術(shù)去實(shí)現(xiàn)真人與虛擬人在同一空間下的完美互動(dòng)，包括真人與虛擬人交接物品、眼神對(duì)位、物品交互等等。

ice：其實(shí)前段時(shí)間的冬奧會(huì)特別節(jié)目《贏戰(zhàn)冰雪》也算是一次嘗試，星瞳作為嘉賓與龐清佟健老師互動(dòng)，由于疫情的影響，星瞳和工具人在這次直播中無(wú)法到達(dá)北京，因此在這種極端情況下，星瞳在深圳直播棚內(nèi)完成動(dòng)捕，傳輸給騰訊視頻的北京演播廳，然后再用渲染機(jī)輸出合成。

茶館：最后，聊聊游戲吧。其實(shí)作為IEG旗下的部門，我驚訝的發(fā)現(xiàn)到現(xiàn)在為止我倆沒怎么討論到游戲，那么對(duì)于IEG的游戲業(yè)務(wù)來(lái)說(shuō)CDD部門作為技術(shù)中臺(tái)可以做到哪些？

光芒：對(duì)內(nèi)只要有需求，CDD就會(huì)提供支持，事實(shí)上IEG目前的很多工作室很多項(xiàng)目都和CDD有合作，這些合作里有虛擬人項(xiàng)目，也有基于游戲制作的，甚至發(fā)布會(huì)、各種舞臺(tái)表演我們都有提供協(xié)助。

不僅如此，對(duì)于CDD來(lái)說(shuō)是開放的，虛擬技術(shù)的核心是交互，而游戲引擎由于具備實(shí)時(shí)渲染和實(shí)時(shí)交互的能力，在影視、虛擬交互、擬真等各方面都具備比較明顯的優(yōu)勢(shì)，也是我們主攻和擅長(zhǎng)的方向，因此我們這項(xiàng)能力也不是僅僅服務(wù)游戲的。

CDD的能力還面向全行業(yè)，包括傳統(tǒng)行業(yè)，對(duì)外我們也廣泛在進(jìn)行合作，包括虛擬人行業(yè)，相關(guān)的需求我們也會(huì)有選擇性的承接相應(yīng)業(yè)務(wù)，這對(duì)我們商業(yè)價(jià)值的實(shí)現(xiàn)也很有幫助，商業(yè)回報(bào)才能使得這個(gè)業(yè)務(wù)持續(xù)健康的發(fā)展。

茶館：最后的最后，給一直以來(lái)陪伴的小星星們說(shuō)點(diǎn)什么吧~

ICE：小星星們對(duì)這個(gè)企劃而言是非常特別和重要的存在，星瞳的成長(zhǎng)是我們一起努力的結(jié)果，真的非常謝謝大家。

光芒：非常感謝小星星對(duì)星瞳的喜愛和陪伴，希望不辜負(fù)這份熱愛。