騰訊SSV ：當千年彩燈遇見AI

數英評分

收藏33 評論

舉報 2023-05

掃描,分享朋友圈

一、當千年彩燈遇見AI

雖然AI火遍了大江南北，但我們與AI的愛恨情仇才剛剛拉開序幕。一切的一切開始于繁星計劃這個項目。

1、繁星計劃是什么

先上一條TVC了解繁星計劃。除了TVC，我們還需要一個能讓大眾參與互動的H5，感受中小博物館的魅力。

微信掃碼體驗H5

項目一開始，數量巨大、種類繁多、館藏千奇百怪的中小博物館就讓我們花了眼，最后，彩燈博物館出現在我們的視線中，彩燈自古以來便承載著吉祥祝福的寓意，重大節日仍然保留著點燈賞燈的傳統。再加上近年來關于彩燈的話題頻頻出圈，年輕人對其的喜愛也與日俱增。

所以，我們敲定了以彩燈為核心創意點來吸引大家的參與，用對家鄉的情感喚醒大家分享的欲望。不僅讓大家在制作數字彩燈的過程中，了解其千年的技藝，同時以燈傳情，用彩燈照亮家鄉博物館的花路。

2、為什么是AI？

制作數字彩燈便是這個H5的核心功能，它將直觀展現數字技術對傳統博物館的積極意義，其生成效果將直接關系到用戶體驗和分享意愿。在創意討論中，客戶提議要不咱們試試最近熱門AI技術，看看新生技術如何讓傳統技藝煥發新的生命力。

經分析，各種主題彩燈的造型本質上還是來源于既有的人或物，只是附加了骨架和發光等特征，可以認為是一種特殊的畫風，我們不需要從頭訓練AI認識每一種造型的彩燈，只需要讓它學會彩燈共有的特征，再疊加在Stable Diffusion文生圖大模型上使用即可。

基于這個思路，我們先用網上收集的彩燈圖通過AI自動打標處理后訓練了一個lora模型，快速驗證了彩燈結合AI生成的可行性基礎。

可行性驗證時的一些生成結果（金魚）

可行性驗證時的一些生成結果（獨角獸）

但了解AI的朋友都知道，AI生成目前的可控性還很有限，經過多輪方案迭代，最終確定了如今的方式：我們從彩燈博物館的藏品中選取20個彩燈主題，在線下用AI技術為每個主題生成好一批圖片，用戶在H5中選擇主題后將得到該主題的隨機一張彩燈圖片，H5實時生成該AI彩燈圖片與用戶信息組合的專屬海報。

二、AI彩燈誕生記開始！

敲定方案后，我們便開始正式的AI圖片生成了。

1. 訓練模型

我們通過彩燈博物館官方和實地采風兩個渠道獲取了一大批彩燈照片作為訓練素材，經過一些基本的預處理，交由騰訊SSV技術團隊打標訓練出一個正式的彩燈風格模型。

一般都會存儲中間文件，以便在發現過度擬合時，可以使用中間文件作為最終結果，這需要將輸出的模型載入SD中。

我們的彩燈模型試用效果不錯——彩燈風格清晰，能夠泛用于不同對象，并且在賦予lora不同強度時能表現出不同強度的風格。

2. 文生圖

在模型驗收過程中我們也初步試驗出適合的參數范圍，由于不同類型的對象適合的參數略有不同，每次手動調參效率低下，我們通過x/y/z plot腳本，使每批次輸出多組不同參數組合的結果。

x/y/z plot腳本輸出的grid（*此處z軸為none）

訓練模型的同時，創意組同學根據彩燈博物館藏品選出20+個主題，并對每個主題進行了多個畫面發想，模型完成后，設計組同學便以這些發想為參考原點，改寫為文生圖提示詞，并根據輸出結果不斷優化迭代。

在這個過程中，設計同學也產生新的畫面創意，加入提示詞迭代，如此為每個主題都產出了少則數百多則千余張圖。

《荷花仙子》的初篩圖片

《孔雀開屏》的初篩圖片

《賣火柴的小女孩》的初篩圖片

3. 篩選和修圖

面對茫茫多的生成結果，我們經過了多輪篩選，挑選標準有三：契合主題、美觀、多樣性，最終每個主題精選出5-8張，進入修圖流程。

我們將精選出的圖片通過AI的超分網絡放大，再手工修正AI圖中如五官、肢體扭曲等問題，最后根據頁面版式調整彩燈圖的畫面布局——背景雜物清理、元素位置調整、主體大小調整、四周壓暗等——使所有彩燈圖經同一程序規則生成頁面時都能有最佳的展示效果。

精修調整完成的AI彩燈圖

修圖前后對比《荷花仙子》

修圖前后對比《孔雀開屏》

修圖前后對比《賣火柴的小女孩》

最后，上彩燈H5！

整體視覺風格以“閃爍的繁星”為印象，各頁均以“燈”元素串連，融入傳統文化元素，同時簡化造型以避免過于古樸與科技表達沖突，簡化用色以避免與多變的彩燈圖沖突。

1、加載&引入

黑暗中散發微光的宮燈輪廓，營造一絲神秘感，配合文案又暗示后續內容；一件件飛出的中小博物館館藏文物輪廓化作星辰，帶出繁星計劃的介紹；

2、核心互動

星辰散去，完整的宮燈浮現；

20個館藏彩燈主題環繞中央的大宮燈，轉動選詞；

3、過渡

等待結果的時間里，展示傳統彩燈的制作流程；

4、結果

點擊地圖塊，將生成的AI彩燈送給家鄉，獲得繁星計劃助力人編號，及紀念海報。

5、分享

部分分享海報欣賞。

首次與AI的碰撞，讓我們有很多話想說

AI彩燈是小牌成都設計組首次將AI生成技術正式應用于工作流程中，更是首次在項目中承擔如此重要的角色。我們不僅應用了基礎的AI文生圖能力，還用到了自主訓練模型和超分網絡等，在得到經驗技巧的同時，更真切地體會到了AI的可能性與限制——

AI非常擅長學習圖像特征，因此角色、物品、動作、風格等都可以通過有限素材訓練AI實現特定特征對象的高效批量產出，也可以幫助有想法但畫功不足的人快速具現化想法；
AI非常擅長融合不同的圖像特征，這也是基于對特征的掌握能力，通過融合不同特征，AI可以創造出人類從未見過甚至無法想象的圖像，可以用于創意前期在迭代過程中與人類互相啟發開拓思路；
但AI對多個對象間的關系的理解還非常有限，很難用文本描述控制AI生成它沒“見過”的關系（舉例來說，AI可以生成騎著馬的宇航員，也很容易生成馬和宇航員融為一體的圖像，但無法生成馬騎在宇航員身上），目前常見的解決方式是通過controlnet或lora來控制生成；
AI能刻畫非常細膩的細節，可以在工作流的中后段幫助人類artist豐富畫面細節；
但基于第3點所述的缺陷，AI生成的準確性還有欠缺（技術手段的進步，能夠有效提升準確性，但bug依然存在只是更加隱蔽），在對畫面準確度要求較高的領域，AI生成還不足以達到直接商用標準，需要人類監修，他要不被表面的美觀干擾找到那些bug并修正，目前有經驗的artist手工修正的效率仍高于AI。

基于以上AI的特性，AI可以為人類artist帶來多方面的助力，但人類的創意和認知判斷力不可或缺，隨著AI的快速進化，AI加入生產的大趨勢不可阻擋，可能帶來以下幾個方面的變化：

生產流程改變：例如不再需要用草圖、鋪色稿去與需求方一步步確認后再往下細化，而是用AI直出多張80%完成度的效果圖確認整體方向，局部也用AI替換輸出多個方案的80%效果，全部方案確認后，再由人類反推制作出準確的結構；
從業者職能和能力要求改變：例如從事基本的素材制作/處理的崗位將不復存在，因為AI可以更高效地批量產出素材，人類artist分別從事前期創意和后期監修工作，前者幾乎不需要手上功夫但要求創意能力和豐富的藝術知識，后者則需要敏銳的觀察力以及對人或物的結構等的純熟認知；
新人學習路線改變：傳統的美術培養方式帶給學習者的正反饋相比AI過于緩慢，將無法留住學生興趣，且基于2的改變，從事前期創意和后期監修的兩類artist可能將是完全不同的學習路線，而即使對于與傳統artist相似的后者，手上基本功的訓練也可能后置；
大眾審美改變：AI將內容產出效率極大拔高后，對每種藝術風格可能會更快審美疲勞，大眾審美的變化速度加快，分支越來越細越來越多。

創作人員名單

品牌方：騰訊
代理商：TINY.
創意總監：Yoyo
客戶總監：Helen
創意&文案：文靜
設計：秋幾、wowow、小波、丹青
動畫制作：阿金
Account：詩琪