騰訊SSV ：當千年彩燈遇見AI

數(shù)英評分

收藏33 評論

舉報 2023-05

掃描,分享朋友圈

一、當千年彩燈遇見AI

雖然AI火遍了大江南北，但我們與AI的愛恨情仇才剛剛拉開序幕。一切的一切開始于繁星計劃這個項目。

1、繁星計劃是什么

先上一條TVC了解繁星計劃。除了TVC，我們還需要一個能讓大眾參與互動的H5，感受中小博物館的魅力。

微信掃碼體驗H5

項目一開始，數(shù)量巨大、種類繁多、館藏千奇百怪的中小博物館就讓我們花了眼，最后，彩燈博物館出現(xiàn)在我們的視線中，彩燈自古以來便承載著吉祥祝福的寓意，重大節(jié)日仍然保留著點燈賞燈的傳統(tǒng)。再加上近年來關(guān)于彩燈的話題頻頻出圈，年輕人對其的喜愛也與日俱增。

所以，我們敲定了以彩燈為核心創(chuàng)意點來吸引大家的參與，用對家鄉(xiāng)的情感喚醒大家分享的欲望。不僅讓大家在制作數(shù)字彩燈的過程中，了解其千年的技藝，同時以燈傳情，用彩燈照亮家鄉(xiāng)博物館的花路。

2、為什么是AI？

制作數(shù)字彩燈便是這個H5的核心功能，它將直觀展現(xiàn)數(shù)字技術(shù)對傳統(tǒng)博物館的積極意義，其生成效果將直接關(guān)系到用戶體驗和分享意愿。在創(chuàng)意討論中，客戶提議要不咱們試試最近熱門AI技術(shù)，看看新生技術(shù)如何讓傳統(tǒng)技藝煥發(fā)新的生命力。

經(jīng)分析，各種主題彩燈的造型本質(zhì)上還是來源于既有的人或物，只是附加了骨架和發(fā)光等特征，可以認為是一種特殊的畫風，我們不需要從頭訓(xùn)練AI認識每一種造型的彩燈，只需要讓它學會彩燈共有的特征，再疊加在Stable Diffusion文生圖大模型上使用即可。

基于這個思路，我們先用網(wǎng)上收集的彩燈圖通過AI自動打標處理后訓(xùn)練了一個lora模型，快速驗證了彩燈結(jié)合AI生成的可行性基礎(chǔ)。

可行性驗證時的一些生成結(jié)果（金魚）

可行性驗證時的一些生成結(jié)果（獨角獸）

但了解AI的朋友都知道，AI生成目前的可控性還很有限，經(jīng)過多輪方案迭代，最終確定了如今的方式：我們從彩燈博物館的藏品中選取20個彩燈主題，在線下用AI技術(shù)為每個主題生成好一批圖片，用戶在H5中選擇主題后將得到該主題的隨機一張彩燈圖片，H5實時生成該AI彩燈圖片與用戶信息組合的專屬海報。

二、AI彩燈誕生記開始！

敲定方案后，我們便開始正式的AI圖片生成了。

1. 訓(xùn)練模型

我們通過彩燈博物館官方和實地采風兩個渠道獲取了一大批彩燈照片作為訓(xùn)練素材，經(jīng)過一些基本的預(yù)處理，交由騰訊SSV技術(shù)團隊打標訓(xùn)練出一個正式的彩燈風格模型。

一般都會存儲中間文件，以便在發(fā)現(xiàn)過度擬合時，可以使用中間文件作為最終結(jié)果，這需要將輸出的模型載入SD中。

我們的彩燈模型試用效果不錯——彩燈風格清晰，能夠泛用于不同對象，并且在賦予lora不同強度時能表現(xiàn)出不同強度的風格。

2. 文生圖

在模型驗收過程中我們也初步試驗出適合的參數(shù)范圍，由于不同類型的對象適合的參數(shù)略有不同，每次手動調(diào)參效率低下，我們通過x/y/z plot腳本，使每批次輸出多組不同參數(shù)組合的結(jié)果。

x/y/z plot腳本輸出的grid（*此處z軸為none）

訓(xùn)練模型的同時，創(chuàng)意組同學根據(jù)彩燈博物館藏品選出20+個主題，并對每個主題進行了多個畫面發(fā)想，模型完成后，設(shè)計組同學便以這些發(fā)想為參考原點，改寫為文生圖提示詞，并根據(jù)輸出結(jié)果不斷優(yōu)化迭代。

在這個過程中，設(shè)計同學也產(chǎn)生新的畫面創(chuàng)意，加入提示詞迭代，如此為每個主題都產(chǎn)出了少則數(shù)百多則千余張圖。

《荷花仙子》的初篩圖片

《孔雀開屏》的初篩圖片

《賣火柴的小女孩》的初篩圖片

3. 篩選和修圖

面對茫茫多的生成結(jié)果，我們經(jīng)過了多輪篩選，挑選標準有三：契合主題、美觀、多樣性，最終每個主題精選出5-8張，進入修圖流程。

我們將精選出的圖片通過AI的超分網(wǎng)絡(luò)放大，再手工修正AI圖中如五官、肢體扭曲等問題，最后根據(jù)頁面版式調(diào)整彩燈圖的畫面布局——背景雜物清理、元素位置調(diào)整、主體大小調(diào)整、四周壓暗等——使所有彩燈圖經(jīng)同一程序規(guī)則生成頁面時都能有最佳的展示效果。

精修調(diào)整完成的AI彩燈圖

修圖前后對比《荷花仙子》

修圖前后對比《孔雀開屏》

修圖前后對比《賣火柴的小女孩》

最后，上彩燈H5！

整體視覺風格以“閃爍的繁星”為印象，各頁均以“燈”元素串連，融入傳統(tǒng)文化元素，同時簡化造型以避免過于古樸與科技表達沖突，簡化用色以避免與多變的彩燈圖沖突。

1、加載&引入

黑暗中散發(fā)微光的宮燈輪廓，營造一絲神秘感，配合文案又暗示后續(xù)內(nèi)容；一件件飛出的中小博物館館藏文物輪廓化作星辰，帶出繁星計劃的介紹；

2、核心互動

星辰散去，完整的宮燈浮現(xiàn)；

20個館藏彩燈主題環(huán)繞中央的大宮燈，轉(zhuǎn)動選詞；

3、過渡

等待結(jié)果的時間里，展示傳統(tǒng)彩燈的制作流程；

4、結(jié)果

點擊地圖塊，將生成的AI彩燈送給家鄉(xiāng)，獲得繁星計劃助力人編號，及紀念海報。

5、分享

部分分享海報欣賞。

首次與AI的碰撞，讓我們有很多話想說

AI彩燈是小牌成都設(shè)計組首次將AI生成技術(shù)正式應(yīng)用于工作流程中，更是首次在項目中承擔如此重要的角色。我們不僅應(yīng)用了基礎(chǔ)的AI文生圖能力，還用到了自主訓(xùn)練模型和超分網(wǎng)絡(luò)等，在得到經(jīng)驗技巧的同時，更真切地體會到了AI的可能性與限制——

AI非常擅長學習圖像特征，因此角色、物品、動作、風格等都可以通過有限素材訓(xùn)練AI實現(xiàn)特定特征對象的高效批量產(chǎn)出，也可以幫助有想法但畫功不足的人快速具現(xiàn)化想法；
AI非常擅長融合不同的圖像特征，這也是基于對特征的掌握能力，通過融合不同特征，AI可以創(chuàng)造出人類從未見過甚至無法想象的圖像，可以用于創(chuàng)意前期在迭代過程中與人類互相啟發(fā)開拓思路；
但AI對多個對象間的關(guān)系的理解還非常有限，很難用文本描述控制AI生成它沒“見過”的關(guān)系（舉例來說，AI可以生成騎著馬的宇航員，也很容易生成馬和宇航員融為一體的圖像，但無法生成馬騎在宇航員身上），目前常見的解決方式是通過controlnet或lora來控制生成；
AI能刻畫非常細膩的細節(jié)，可以在工作流的中后段幫助人類artist豐富畫面細節(jié)；
但基于第3點所述的缺陷，AI生成的準確性還有欠缺（技術(shù)手段的進步，能夠有效提升準確性，但bug依然存在只是更加隱蔽），在對畫面準確度要求較高的領(lǐng)域，AI生成還不足以達到直接商用標準，需要人類監(jiān)修，他要不被表面的美觀干擾找到那些bug并修正，目前有經(jīng)驗的artist手工修正的效率仍高于AI。

基于以上AI的特性，AI可以為人類artist帶來多方面的助力，但人類的創(chuàng)意和認知判斷力不可或缺，隨著AI的快速進化，AI加入生產(chǎn)的大趨勢不可阻擋，可能帶來以下幾個方面的變化：

生產(chǎn)流程改變：例如不再需要用草圖、鋪色稿去與需求方一步步確認后再往下細化，而是用AI直出多張80%完成度的效果圖確認整體方向，局部也用AI替換輸出多個方案的80%效果，全部方案確認后，再由人類反推制作出準確的結(jié)構(gòu)；
從業(yè)者職能和能力要求改變：例如從事基本的素材制作/處理的崗位將不復(fù)存在，因為AI可以更高效地批量產(chǎn)出素材，人類artist分別從事前期創(chuàng)意和后期監(jiān)修工作，前者幾乎不需要手上功夫但要求創(chuàng)意能力和豐富的藝術(shù)知識，后者則需要敏銳的觀察力以及對人或物的結(jié)構(gòu)等的純熟認知；
新人學習路線改變：傳統(tǒng)的美術(shù)培養(yǎng)方式帶給學習者的正反饋相比AI過于緩慢，將無法留住學生興趣，且基于2的改變，從事前期創(chuàng)意和后期監(jiān)修的兩類artist可能將是完全不同的學習路線，而即使對于與傳統(tǒng)artist相似的后者，手上基本功的訓(xùn)練也可能后置；
大眾審美改變：AI將內(nèi)容產(chǎn)出效率極大拔高后，對每種藝術(shù)風格可能會更快審美疲勞，大眾審美的變化速度加快，分支越來越細越來越多。

創(chuàng)作人員名單

品牌方：騰訊
代理商：TINY.
創(chuàng)意總監(jiān)：Yoyo
客戶總監(jiān)：Helen
創(chuàng)意&文案：文靜
設(shè)計：秋幾、wowow、小波、丹青
動畫制作：阿金
Account：詩琪