優酷×侯明昊：AI與真人實拍，看進去就出不來
AI無疑2023的重要關鍵詞，而這一次我們在視頻層面，實踐了Ai風格重置與藝人實拍的無縫融合，感謝優酷客戶給予的創意空間，與我們一同進行的AI探索。閑話少說，先看片。
優酷2023Brand Film “看進去就出不來”的優酷
原初的Brief是，如何表達優酷有著精彩內容，橫跨熱血漫改劇、風雅國學、新國風動漫、潮酷綜藝。我們很快鎖定“看進去就出不來”的想法，主角被“吸入”優酷世界后，以AI分身橫穿《異人之下》、《萬卷風雅集》、《暗河傳》、《這就是街舞》，各個有著精彩內容的AI世界。幾個場景中尤以熱播漫改劇《異人之下》為主推，憑一句“武當王也拜見老天師”炸裂社交圈的“王也”本也——侯明昊，當仁不讓成為了我們推薦的“穿越者”。
第一道難關：藝人在場景，怎么和素材互動
如何讓想法落地，確實有太多未知X因素。最先遇到的難題是，怎么表現藝人與場景素材的互動？
各種劇各種綜藝都已成片，不可能跟著你的腳本轉。那，穿越到場景內，利用某個媒介介質看AI重置素材？這也太遜了，在內部這個easy solution第一秒也被推翻了。只能和自己死磕了：無論如何，都要實現ai重置與真人實拍的無縫融合，這是“死命令”。接下來，就是一番翻找素材，找尋合適角度機位的苦功夫。
在大段的素材找尋那幾幀的潛力鏡頭，所有為數不多的空景和大wide景，就成了我們眼中的香餑餑。要“神還原”既有的影視劇/綜藝素材的拍攝角度與攝影機焦距，拍攝硬件黑科技少不了：在實拍中Motion Control與Q-Take雙管齊下，配合藝人綠幕前無實物表演，才達成了后期AI合成神同步的基礎。
shooting board中，人物與素材須融合的鏡頭節選
第二道難關：AI風格化，如何平衡藝人和其他素材
攻克了第一道難關，接下來才是最難過的關——AI解決素材和真人的融合度。藝人的AI化形象需要有辨識度，又需要平衡全篇其余鏡頭的AI風格化。AI小組和后期團隊緊密配合，在Stable Diffusion中嘗試了不同的預處理模型，并反復實驗不同的seed值。多次反復試驗后，采用油畫風格SDXL大模型插件，基于v1.5模型的官方升級版，語言模型引入了OpenAI的CLIP使得提示詞更容易被理解。
為更好保證藝人的可辨識度，依然借助于傳統online的后期方式，為牽涉到藝人的畫面墊了一層底，再融合ai風格化重置，完成了虛與實的平衡融合。這樣，也算一定程度上完成了從傳統后期到AI后期的小跨越。
AI藝人與AI場景的融合demo
第三道難關：如何防抖
在AI重置中，還有一個需要對抗的問題就是抖動，在許多AI探索的作品中抖動感還是非常強烈的。為了解決這個問題，我們使用了kaiber，一個基于SD的底層模型，通過添加視頻高級融合算法，以降噪、去模糊、增強、放大、縮小、超分辨率等，使風格化加強同時，減少抖動與前后幀不連貫的問題，保證了視頻穩定度。
第四道難關？關關都是難關
在AI的探索過程中，其實會隨機得到許多意想不到的效果，這些過程稿或遺珠未必能出現在成片中，我們也挑選了其中一部分分享出來。
異人之下土河車片段早期嘗試稿
街舞賽博朋克AI方向尋找稿
街舞賽博朋克嘗試稿
暗河傳不同程度重置對比
過場AI自動演算過程稿
本片落地于電影院和戶外大屏，取得了不錯的反響。
重慶觀音橋
影院
長沙五一廣場國金通道
寫在最后的思考
此番優酷2023Brand Film由好旺角創意廠牌H2O操刀，與優酷一同攻堅克難了素材與實拍融合的AI制作。算作為2023的AI大潮中，貢獻了一朵別樣的浪花。在過程中，團隊深深地被以天為計量單位的迭代速度震驚了，一切都在幾何級數野蠻生長。短短一兩月之間，不斷有新預處理器及新的“丹藥”Lora產生，真正應驗了“學無止境”。
AI在瘋狂生長，而我們的觀點始終是：AI不能代替人類的思考，尤其是創意人的思考。如何善用巧用AI工具，才是我們的學無止境。
創作人員名單
創意合伙人：Thomas.Li
業務總監：Serena.Liu
創意總監：David.Li
客戶服務：Lydia Xu、琳子
項目信息
專業評分
專業評分已截止
評論
評論
推薦評論
全部評論（5條）