轉載：游戲茶館 文/月下

去年12月，我有幸與騰訊虛擬偶像星瞳背后的運營團隊成員進行過一番交流，通過騰訊CDD虛擬人業務線負責人ice與騰訊QQ炫舞系列運營負責人Nina之口，我知道了IEG方面對于星瞳的投入與重視，同時也看到了騰訊在虛擬人業務上的強勢以及技術積累。

在那次采訪中，我曾抱著開玩笑心態給ice說“你看現在UE5測試版已經發布了，是否考慮迭代UE5？”，而ice真的一臉淡定的告訴我她們真的有在同步研究UE5的一些技術，并且準備應用在星瞳之上。

當時的ice并沒有告訴我外界看到這讓人興奮的東西具體需要多久，但我確實沒想到星瞳的UE5嘗試會來的這么快，甚至比UE5正式版的發布還早了10天。直到后來我才知道，這短短49秒舞蹈視頻背后是星瞳團隊近4個月時間的心血成果。

“我們希望讓外界直到星瞳背后的團隊每天都在做些什么，星瞳企劃具體是怎么在運作，星瞳對于騰訊的大家意味著什么，而騰訊的同學各自又在其中扮演著什么樣的角色？”

ice這次不是一個人來，同時還有騰訊互娛內容生態部的總經理“光芒”，跟我一聊就是2個小時。

01

開場前的寒暄

茶館：兩位好呀，老規矩，請兩位先自我介紹一下吧。

ice：大家好我是ice，騰訊互娛內容生態部虛擬人業務負責人，去年和大家聊過星瞳的故事。今天的主角是光芒，我就負責暗中觀察啦。

光芒：大家好我是騰訊互娛內容生態部（簡稱CDD）的總經理，大家都叫我光芒。

茶館：光芒好，ice也別閑著沒事兒嘮兩句不是（笑）。好了我們回歸正題，其實關于CDD很多讀者相信就算是不少業內朋友都會覺得比較陌生，這里還是麻煩光芒簡單介紹一下CDD吧。

光芒：當然沒問題。CDD全稱Content Development Department，成立于2020年底，是隸屬于騰訊IEG事業群下的獨立部門，下面有虛擬人、虛擬制片等多個業務線，為騰訊IEG乃至整個騰訊各事業群提供內容制作技術相關的支持，對內扮演著內容制作中臺的角色。

CDD作為一個單獨的部門，我們成立的定位就是希望探索游戲引擎在非游戲領域的應用，這里面涉及很多過往我們并未嘗試過的技術點，也是嘗試將游戲技術應用到不同的領域中，這其中包含了實時渲染、實時交互、CG和VFX技術、擬真以及其他傳統影視行業應用等。

這其中所需要的基礎能力是虛擬世界與真實世界在時間、空間上的對位問題，也是我們核心研究的課題， CDD的虛擬業務線主要就是解決這些問題。

茶館：這里我有一個問題，也是我去年12月采訪后才想到的，當時我是認為星瞳是騰訊IEG內部多部門在協同沒有明確的歸屬，但目前看來CDD似乎是扮演著“主軸”?

光芒：主軸談不上，CDD、騰訊QQ炫舞項目組、騰訊人工智能實驗室（AI Lab）等等不同的部門都有明確分工，各司其職。

比如QQ炫舞項目組，因為星瞳誕生于《QQ炫舞》系列游戲，所以炫舞項目組主要負責星瞳IP的定位、特殊節點星瞳的物料以及商務合作，并且星瞳也依然是《QQ炫舞》的虛擬代言人這一點是不會變的，而AI Lab在中國乃至世界的人工智能領域都有著極高的權威，所以像星瞳動捕數據修正、鏡頭算法的很多技術處理我們都會跟AI Lab積極溝通合作。

CDD負責的板塊主要在內容策劃、直播運營、離線視頻等部分，所以從用戶的感受上來說，大家日常看到關于星瞳的部分，主要是CDD在負責的，但是還有很多大家看不到的背后工作，是由其他很多部門來合作的。

茶館：我的理解是，類似一些游戲里常駐卡池與活動UP卡池的相處狀態？你們是常駐，其他的一些部門是活動UP？

光芒：可以這么理解。比如前期有部門支撐了某個模塊，隨著項目的開展，這個模塊成熟應用以后，相關部門也就自動淡出了；相反，如果在項目運轉中我們需要其他部門的協同與幫助，那么隨時有可能就會拉對應的職能團隊加入支持，這個主要還是看星瞳這個項目的實際需求，當然從目前的情況來看，在直播板塊所應用到的技術基本都是由CDD來負責的。

茶館：這個解釋很好，打消了我之前的一些困惑，好了那我們今天的采訪就算正式開始了。

ice：好，正式開始。

茶館：首先我想問問大伙最近都很關心的問題吧，其實這也是一直以來星瞳粉絲或者說外界都比較陌生的，因為技術，因為項目定位，甚至是因為騰訊對星瞳的很多東西存在一個似是而非的理解狀態，所以也希望借著這個機會好好聊聊星瞳企劃的一些故事，光芒你準備好了嗎?

光芒：當然，我們也希望多交流。

茶館：既然如此我先來個重量級的，作為虛擬偶像的星瞳和商業化之間的關系你們是怎么看待和處理的？

光芒：是個好問題，也有很多小星星之前非常關心這個問題。

其實外界一直有聲音說，騰訊做星瞳這個項目就是做著玩，不在乎收益，事實情況不是這樣的，對于任何一個商業項目來說，都必然會有商業化的目標，只是看目標到底是什么，如何實現。

茶館：事實不是這樣嗎？(笑)

光芒：實際的情況是不管是星瞳這個項目還是CDD其他所負責的項目，都希望可以走上一條內容、商業都能成功的道路，特別是內容這種本來就難以證明什么叫做成功的形式來說，商業化的收益都是非常有說服力的一項指標。

很多人包括一些業內人士都問我們說以星瞳這個項目投入體量基本上不太可能回本吧，真實情況也是這樣，星瞳的項目投入極大，有很多小星星包括業內人士也在猜測單場直播的投入有多少，我也看到了，但是不樂觀的說，目前星瞳的實際投入比大家的猜測還要大不少。

茶館：所以，你們是怎么考慮這個問題的呢？

光芒：從去年開始我們就在思考這個問題，這期間我們捋清楚了兩個邏輯，簡單歸納就是通過成本控制與TOB型商業模式去打破這個商業循環。

成本控制這個很好理解，從去年開始就關注星瞳的粉絲肯定會有最直觀的感受，直播的整體效果在逐步提升，但是與大家感受相反的是，實際平均每場直播成本卻在逐步下降。

這其中涉及到我們在引擎端的功能、插件的開發，直播管線上的流程優化，單場人力投入優化、提升直播棚的使用效率等等。事實上，如果今天放到全行業來看，做一場星瞳同樣品質的直播，我相信CDD的成本會是市面上解決方案里最低的。

隨著星瞳影響力的不斷擴大，目前也有很多公司內外的客戶找到我們，希望由我們來提供工具、產品甚至解決方案，對于CDD目前看起來的最好的商業化模式，也是對外進行工具產品或者解決方案的打包售賣。

簡單來說，在虛擬人這條線上，星瞳可能會是個投入大于回報的項目，甚至在比較長的時間內都會持續這樣的情況，但這不代表我們不在乎星瞳的IP商業化收入，這并不矛盾，我們也在積極探索。另外，通過我們的技術解決方案，為虛擬人行業甚至是傳統行業提供我們的能力，來獲得商業回報，很快大家也會看到更多使用了CDD技術的虛擬人登場。

茶館：聽起來已經有元宇宙的感覺了，我看有不少小星星的評論里提到了元宇宙。

光芒：事實上我們部門內部是不允許提“元宇宙”這個詞的（笑），目前這個詞還是太空洞了，不同的人對于這個詞的理解都不太一樣，這很容易造成內部溝通上的錯位，我們還是希望能把，虛擬和現實的空間時間對位、實時交互這兩項最基礎的能力給做扎實。同時我也希望工具人團隊是個踏實做事的團隊，不要浮躁，好的數據人人都喜歡，但好的數據應該是你認真做事所帶來的結果，而不是把好的數據當成目的，因為僅僅想要好的數據，那方法可太多了。

茶館：我覺得， 小星星們就只聽了光芒這一番話就可以安下心慢慢閱讀后面的內容了。

ice：所以有一點小星星們可以放心的是，星瞳是CDD自成立以來最重視的項目，也會是CDD未來幾年內容策劃、技術實踐、商業探索上的核心項目。

02

積累經驗與解決問題

茶館：不好意思強行分了個段，光芒實在太能聊了。

光芒：不好意思，但是這才剛開始。

ice：冒泡防踢。

茶館：很多問題已經在前面得到答案了，所以我們不妨聊點稍微輕松點的話題，比如最近被小星星們大溜特溜的《TOMBOY》以及4月8日的“神回”，你們對這天的直播感覺如何？

光芒：其實這次技術測試回準備了很久，算是個階段性成果吧，對我們來說經過了8個多月，技術方面的準備總算是到了可用的程度。原本其實在技術測試回我們準備了很多新的技術點，但是在彩排過程中發現沒有達到我們的要求，所以臨時拿掉了，會在優化后再和大家見面的。很開心大家會喜歡這次直播，星瞳和整個工具人團隊都很開心。

茶館：差點忘了，恭喜千艦達成。

光芒：謝謝，我們也對4月8日整場直播進行了詳細復盤，開心歸開心，但也總結了不少問題。

茶館：對，我還是想問近期吵得特別熱鬧的一個話題，就是“導入引擎的到底是什么數據呢？”

光芒：最近這個問題有不少朋友是比較關心的，小星星們也很關心（笑），簡單來說導入引擎的數據是未經處理或者自動簡單清洗后的骨骼體數據，當然這么說很多人會不太理解，這其中涉及到CDD在星瞳直播的運轉機制。

茶館：具體運轉機制指的是什么呢，比如彩排？彩排的環節對于星瞳的直播來說是必要的嗎?

光芒：在正式的直播過程中，整體管線說起來是比較簡單的，通過光學動捕收集到的數據直接發送到我們現場渲染機中，然后所有渲染機的畫面匯入到導播臺中，最后經過導播臺進入錄機中然后推流，也就是大家最終所看到的畫面。

當然，你提到的彩排也是非常必要的，這次我們也放出了彩排的花絮，其中的“靜電”并不是節目效果，其實是頭發結算上的bug，類似這樣的bug在彩排過程中我們發現了50多個，可重現只有10來個，也就是說還有非常多的bug我們無法重現，也就無法保證在正式直播的穩定性，解決這些問題是比較頭疼的，所以其實細心的小星星也會發現，在正式直播里星瞳的頭發是沒有彩排的時候那么蓬松的，正式直播前我們調低了相關的參數，算是為了直播效果的穩定做的妥協。當然在技術測試回的正式直播中，也依然還是出現了不少bug的。

我前面講到的那個流程，是基本的大體管線，但因為直播內容的不同使用的設備也會調整，相應的現場布局與安排就會發生變化。4月8日的UE4測試直播，CDD團隊一共用到了超過20臺渲染機來保證整體效果，其中有部分鏡頭的渲染機是一主一備冗余配置的，如果出現問題會立即做切換。

茶館：我是外行，但我想知道20臺渲染機采集數據是什么概念?

光芒：我不知道其他虛擬人團隊是怎么做的，但是我理解20臺渲染機并不算是個很值得拿出來講的地方。

渲染機的問題先放一放，后面在鏡頭環節里我會提到。實際上在這8個多月的直播過程中，我們解決了幾大類問題。因為不同于傳統真人直播，3D虛擬偶像在虛擬環境下的直播有著非常多的難點，主要有：

第一是動捕。其實動捕技術算是整個管線中技術比較成熟的了，但是在直播中應用動捕，最大的難點還是如何剔除掉“臟數據”，包括丟點、掉點或者抖動，這是目前無法避免的技術問題，而且十分影響觀感，初期我們只能告知星瞳盡量避免做一些會造成人物穿模的動作，現在我們能通過軟件升級和算法的方式做到骨骼體數據的盡量精準。

第二是鏡頭。在中秋回直播的時候，我們在運鏡上出比較嚴重的問題，其實在傳統節目制作中是有細分的“導播”這個崗位的，我們當時并沒有，所以在生日回，我們請了傳統經驗豐富的導播來配合，并且調了一臺專業導播臺進棚，解決了“傳統導播不會操作引擎，操作引擎的工具人不擅長調度鏡頭”的難點，各自發揮特長，大家都很舒坦。

我們在現場配置了兩大類攝影機，一類是真實的攝影機，通過關聯引擎內的虛擬攝影機，將空間位置信息、光圈、焦距等數據傳遞給引擎，再由引擎渲染對應的畫面。這些真實攝影機，我們配備了3臺，分別是搖臂、游機和固定機位，搖臂是之前萬子姐提到的那臺，我們也請了專業的傳統攝影師來操作，當然為了優化成本，我們也不會每場直播都請導播老師或者攝影老師。（笑）

另外一類攝影機是引擎里的虛擬攝影機，這也能充分發揮虛擬直播的優勢，事實上從生日會開始，我們意識到虛擬攝影機的控制方面，我們遠遠不如asoul做得好，由于星瞳在生日會前都是一個人在直播的，所以我們沒有開發綁定在角色身上并且自動跟隨角色的鏡頭，這個問題到了生日會聯動的時候才被發現，因為萬萬和冰糖來了以后，要即時給到某一位鏡頭是實現不了的，后續我們也立即做了專項的開發。

多個鏡頭通過多臺渲染機渲染，匯入導播臺，由導播老師做畫面切換，這就是我們常用的解決方案。當然這里就牽扯到多個機位之間畫面同步的問題，這個問題在現實世界是不太會出現的，因為在現實世界里時間線是單向的，但是在虛擬世界里，由于不同渲染機的渲染時間并不一致，因此如果大家仔細看的話也會發現，星瞳復雜的舞蹈或者時長較長的舞蹈前都會有一個空間及鏡頭對位的過程，同樣的，在舞蹈結束后回到主渲染機上的也會重復這一過程。

第三是渲染效率的問題。這個問題比較復雜，涉及的面也比較多，其實和大家猜測的不一致，我們渲染機所使用的顯卡是3090，我們也嘗試過使用a6000這樣的專業顯卡，但是效果并不理想，容易出現衣服、頭發結算失效的問題，這里面還涉及到驅動層面的開發，所以我們還是使用的3090，并且每一臺渲染機都是獨立運轉的，并沒有采用集群渲染或者云渲染的模式。這對整個工程的性能提出了非常大的挑戰，因為至少要保證40-50幀的渲染效率，所以無論是模型、綁定、解算、場景地編、燈光、TA各個模塊的同學都需要一起來解決這個問題，拿這次的頭發舉例，這次的頭發一共做了20多版，最終這一版使用了9000根頭發，觀感和渲染性能上能達到比較好的平衡。從目前優化的情況來看，我們目前的渲染技術能做到星瞳這樣精度模型，在同場景下3-4人的實時渲染。

第四是燈光，舞臺表演是無法離開燈光的，當然目前我們還是用的比較笨的辦法，就是在引擎里操作燈光，事先編排燈光序列，但是這對舞蹈彩排的難度提升了不少，如果你仔細看是能看出十連跳的某段舞蹈中燈光出現問題的狀況，未來的規劃是通過我們在虛擬制片上的燈光方案來解決，這樣燈光工具人也可以通過燈控臺來實時調整燈光了，比如星瞳覺得這個面光太暗了，燈光工具人可以馬上推上去，而不是在引擎里去調試。當然燈光也牽扯到渲染效率的問題，這里就不展開講了，確實在較早直播過程中，也因為燈光問題造成某些渲染機的性能極劇下降的情況。

哎呀，一口氣講了這么多聽起來很晦澀的內容，我收一下再回到“為什么需要彩排”的問題其實就很好理解了。

茶館：所以彩排其實不僅是為直播負責，同時也能看作是你們在這個過程中對團隊的無數場反復試煉。

ice：對于星瞳與CDD團隊來說，這確實是最好的發現問題與解決問題的方式之一。

當然還有很多待解決的問題，比如實體鏡頭的防抖問題等，這些問題需要依靠虛擬制片的技術一起來解決。

茶館：真不容易，我相信不管是部門內部還是對于觀眾而言，大家都能明顯感覺到星瞳身上的技術越來越成熟，這些都是長期不斷持續積累的下來的結果。

光芒：我認為這些經驗對我們來說是個很好的沉淀，當然技術只是一方面。

其實看看我們部門的名字叫做內容生態部，而不是內容技術生態部，我們認為內容包含兩個模塊，前段是內容策劃，后段是技術。必須在內容策劃，或者內容創意上做得好，再加上足夠好的技術來表現才能呈現最好的內容，這兩者缺一不可。好在這兩者都是一個逐步積累的過程，我們也逐漸摸到了一些方向，后續我們也會啟動星瞳的故事敘事，以及新一輪美術風格上的優化了。

在前面介紹CDD部門愿景的那里我也提到了，CDD是希望用游戲引擎去探索游戲與非游戲領域應用，這里面如果細分的話，其實有各種不同的應用，包括虛擬人進入現實世界，虛擬人在虛擬空間，真人進入虛擬空間等多種不同的組合，各自代表著不同領域與技術方向的探索。

所以，包括星瞳在內的CDD部門所有項目，我們都在不斷去嘗試解決這其中的共性問題。

茶館：那我真的很希望，能夠盡早看到那么一天。說到這里，我有個問題想問，星瞳那個UE5的視頻你們做了多久？

光芒：前后算起來大概有三個多月的時間。

茶館：這么久?

ice：這里我說兩句，因為UE5到現在正式版也剛剛上線，它現在還不是一個非常穩定的商用狀態。

光芒：ice說得對，CDD之前在UE4管線上大概花了8個多月的時間，跑通UE5管線需要的時間可能會比這更長，很多東西都要從0開始，包括有非常多硬件接口需要重新適配、模型資產的重新制作，事實上這次UE5的視頻里的模型是全部重新制作的，所以才花費了這么久的時間，但是實際來說UE5我們還沒有吃透，現在還僅僅是預研階段。

茶館：雖然但是，我先放個桃子在這里不過分吧。

光芒：我們其實比大家更希望能盡快用上UE5，敬請期待吧。

03

虛擬制片與CDD與IEG

茶館：聊到這里，相信讀者對星瞳背后工業化制作邏輯已經有相當深刻的了解了，那么能不能講一講CDD在虛擬制片這塊的能力，我聽說CDD或許是目前國內游戲企業里最懂虛擬制片的團隊。那么研究虛擬制片這么久，CDD對于虛擬制片最大的感受是什么?

光芒：“最懂”真的不敢這么說，傳統影視行業也探索了幾年，只能說我們在LED虛擬制片做得比較早，在部門成立之初就立項了。

這項技術和星瞳的虛擬人直播技術還略有一點差異，所見即所得是虛擬制片的優勢，制造一個虛擬的環境，達到以假亂真的效果。由于虛擬制片技術解釋起來比較復雜，還是看一個短片吧，比較容易理解，這是我們部門今年年會制作的內部測試片，在后半段有拍攝花絮，整段片子都是在LED虛擬拍攝棚拍攝的，能很好的展現這個技術的應用場景。

《鳳嬌·呸的奇幻歷險》精華剪輯+幕后揭秘

傳統的制片環境下，現場拍攝與后期是分開的，如果這個片子涉及很多特效，那么就會非常考驗演員以及導演組的個人功底，因為其沒有身臨其境的感覺，需要依靠想象與臺詞調動情緒，如果后期特效制作過程中發現某個鏡頭或者什么不對，那么大概率你需要重拍。

而在虛擬制片的環境下，將資產與特效前置，不管是導演還是演員都能實時感受接近成片的現場效果，這個效率太高了，對于任何一個工業級產品來說，所見即所得都是令人興奮的。

茶館：所以，除了在影視上，虛擬制片目前在其他領域有哪些比較成熟的使用案例?

光芒：發布會、音樂會、各種大型活動都是非常典型的應用場景，因為虛擬制片可以把原本一個舞臺的束縛給打破，將背后的空間擴展成你希望呈現的樣子，可以是雪地、可以是沙漠、甚至是太空。

再來就是虛擬人，這個把星瞳項目上我們積累的相應能力再應用到虛擬制片中，但我們的期望遠不止這些，我們希望能夠更多借助于虛擬制片的技術去實現真人與虛擬人在同一空間下的完美互動，包括真人與虛擬人交接物品、眼神對位、物品交互等等。

ice：其實前段時間的冬奧會特別節目《贏戰冰雪》也算是一次嘗試，星瞳作為嘉賓與龐清佟健老師互動，由于疫情的影響，星瞳和工具人在這次直播中無法到達北京，因此在這種極端情況下，星瞳在深圳直播棚內完成動捕，傳輸給騰訊視頻的北京演播廳，然后再用渲染機輸出合成。

茶館：最后，聊聊游戲吧。其實作為IEG旗下的部門，我驚訝的發現到現在為止我倆沒怎么討論到游戲，那么對于IEG的游戲業務來說CDD部門作為技術中臺可以做到哪些？

光芒：對內只要有需求，CDD就會提供支持，事實上IEG目前的很多工作室很多項目都和CDD有合作，這些合作里有虛擬人項目，也有基于游戲制作的，甚至發布會、各種舞臺表演我們都有提供協助。

不僅如此，對于CDD來說是開放的，虛擬技術的核心是交互，而游戲引擎由于具備實時渲染和實時交互的能力，在影視、虛擬交互、擬真等各方面都具備比較明顯的優勢，也是我們主攻和擅長的方向，因此我們這項能力也不是僅僅服務游戲的。

CDD的能力還面向全行業，包括傳統行業，對外我們也廣泛在進行合作，包括虛擬人行業，相關的需求我們也會有選擇性的承接相應業務，這對我們商業價值的實現也很有幫助，商業回報才能使得這個業務持續健康的發展。

茶館：最后的最后，給一直以來陪伴的小星星們說點什么吧~

ICE：小星星們對這個企劃而言是非常特別和重要的存在，星瞳的成長是我們一起努力的結果，真的非常謝謝大家。

光芒：非常感謝小星星對星瞳的喜愛和陪伴，希望不辜負這份熱愛。