火爆的「變身漫畫」，抖音特效團隊是如何打造的？
來源：字節(jié)范兒
原標題：「變身漫畫」3天千萬投稿，抖音特效團隊如何打造爆款？
最近，抖音特效又出了新爆款。只需手輕輕一揮，用戶就能秒變高萌漫畫人物，從發(fā)型到衣著，每個細節(jié)精準轉換。幾乎一夜之間，抖音滿屏二次元化。
在這個世界，你能抓到被全網催交舞蹈作業(yè)的寧靜，
也能看到充滿清新氣質的PDD，
從路人到頂流明星，人均get一雙水汪汪的大眼睛。除了，“連特效都拯救不了”的李榮浩——
一夜億萬曝光，道具上線3天獲得了1000w+的視頻投稿，貢獻大量相關熱門話題。
全網都愛的變身漫畫特效是如何誕生的？背后又有哪些行業(yè)領先的“黑科技”？
字節(jié)君與抖音特效的幕后團隊一起聊了聊，持續(xù)打造爆款特效的秘密。
爆款不是偶然
“作為行業(yè)首發(fā)的人臉實時動態(tài)漫畫效果，我們早就覺得「變身漫畫」會火。”來自影像團隊，有多款抖音爆款特效項目經歷的大彭說，近年來，真人照片處理、拼貼成某種繪制風格常玩常新，關鍵就是要給用戶帶來驚喜和共鳴。
2014年，臉萌憑借卡通五官、服飾匹配，登頂App Store
2018年，字節(jié)跳動專門成立影像團隊，支持抖音火山輕顏等全系產品的打磨，其中包括長期探索真人風格化玩法，力圖持續(xù)打造擊中用戶的特效。
在大彭看來，團隊不設邊界的靈感創(chuàng)意機制，讓爆款的出現(xiàn)絕非偶然?！盁o論什么崗位，都不會只站在自己的視角積累爆款思路的彈藥。每天影像團隊都會抽一個小時搜集靈感，每周定期與其它合作的設計&研發(fā)團隊開腦暴會，觀察學習行業(yè)趨勢和時下流行的時尚元素，了解最新技術進展。”
藝術遇上技術，很快碰撞出了新的火花。
2019年，輕顏出了本可愛風的手繪日歷，項目同學發(fā)現(xiàn)，許多人都想把自己的照片一鍵變成類似畫風。
此時研發(fā)同學在腦爆會提起，打破次元壁、讓真實人臉變漫畫的關鍵技術GAN (生成式對抗網絡，Generative Adversarial Networks )剛實現(xiàn)，但還不足以精確地把真人變成人類繪畫水平，讓真人實時變成動畫片，行業(yè)里更是沒見過。
要不干脆出一款特效，讓真人可以秒變漫畫臉？
想法一出，立馬激發(fā)了不同崗位同學的興奮點。2019年9月，從影像團隊的效果和產品同學，到協(xié)作支持的研發(fā)、設計，一個跨北上深及北美四地的專項小組迅速拉了起來。做實時漫畫特效，定位就是爆款。
既“像”又“美”，千人千面漫畫臉
“別看變身只要一秒，從創(chuàng)意提出到技術落地，背后我們琢磨了好久。” 參與漫畫特效打造的產品同學玉辰說。
“教AI畫畫”，做出大家喜歡、技術上又可實現(xiàn)的設計風格很難，做到實時可預覽級別更難。
剛開始，研發(fā)同學對能否做到“實時”沒多大把握：“畢竟如此高質量且千人千面的實時效果，在學界和工業(yè)界都未有過先例，技術上還有眾多難點需要突破。”
項目組商量決定，暫緩“實時”計劃，先打磨極致圖片效果。“我們定義了精致美和極致像兩大特點。既要全面保留用戶特征、像本人，又要生成出漫畫獨有的藝術美感。”玉辰說。
為了找到更能引起用戶共鳴的繪畫風格，從日漫、國漫到韓漫，團隊幾乎將主流的漫畫和番劇看了個遍。
靈感收集時的參考風格
經過效果同學廣泛的風格設計、調研和修改，團隊終于鎖定了一款高萌可愛的漫畫臉。“我們的設計師都是公司主美級別的，經驗豐富。”
早期（上）與終版（下）風格對比
引入算法后，團隊進入了更加追求細致的打磨期。
“有一兩個月吧，我們就是在不停訓練新模型，每次可能跑出幾百個普通人看不出啥差別的模型，然后讓設計去挑最優(yōu)效果?！毖邪l(fā)同學感慨，如此高效和規(guī)?；哪Ｐ陀柧?，背后得虧了公司強大算力基礎的支持?！白疃嗟臅r候，要用幾百張顯卡跑?！?/p>
大家調侃說，經此一役，團隊各個練就了火眼，同學們的效果敏感度和審美都有了很大提升。
大彭印象深刻，有次選好一款很萌的模型準備放體驗版，研發(fā)同學第二天做好后，有個效果同學盯著新版本看來看去，總覺得哪里變不好看了?！耙粏柌虐l(fā)現(xiàn)研發(fā)放錯了模型，眼睛稍小了幾個百分點?！?/p>
圖片版效果達標后，團隊決定小試牛刀，階段性在抖音、TikTok的影集模塊上線「漫畫奧義」道具，在中國、日本、巴西、印尼等多國取得了不錯的反響。
全球首次實現(xiàn)手機端實時動態(tài)漫畫處理
“實時”再次成為了擺在團隊面前的關鍵挑戰(zhàn)。
此前，變漫畫功能基本都基于人臉表情跟蹤，學界和工業(yè)界都沒有千人千面的實時漫畫生成方法。這次抖音推出的漫畫特效是在視頻中實時實現(xiàn)，該技術可謂全球首發(fā)。
“我們都明白，一旦實現(xiàn)，這將是一大爆款子彈?！?/p>
走入漫畫的“貴妃”李玉剛
第一個吃螃蟹不容易。參與特效研發(fā)的陳西回憶，最開始的模型版本慘不忍睹，嘗試了好多次都不行，大家甚至對實時漫畫的可行性產生了懷疑。然而即使在最艱難的時候，團隊也希望再試一次。
在陳西所在的研發(fā)團隊，擁有計算機視覺、計算機圖形學和數值分析等多元背景的技術人才，每個人都有自己的專長和經驗?！拔覀冇职橇艘槐樗锌赡芟嚓P領域的已有研究和文獻，有同學提出可以嘗試各種輕量化模型的嫁接混合，效果確實得到改善，大量實驗后終于選出了現(xiàn)在的主干模型?！?/p>
看起來是放手一博的革新，其實背后是公司跨團隊、跨領域共同協(xié)作才能水到渠成的結果。
實時漫畫的處理對手機性能要求極高，計算非常復雜；此外，抖音用戶眾多，機型性能差距大，需要專門研發(fā)復雜、定制化的模型下發(fā)策略。
公司全平臺的技術成果和資源幫了大忙。拿漫畫特效啟用的字節(jié)跳動自研的推理引擎ByteNN來說，端側性能和功耗均處于業(yè)界領先水平，保證了實時漫畫能夠穩(wěn)定支持抖音海量的用戶群體。
用戶需求多廣，玩法腦洞就有多大
如何讓用戶真正玩起來？特效項目組的同學沒少費腦洞。
在變身漫畫推出前，團隊已成功參與打造并引爆了寶寶特效、變身情侶等諸多抖音特效，在道具結合定制化音樂bgm的創(chuàng)意玩法上頗有經驗。
變身情侶特效
拍攝簡單、配樂有趣的寶寶特效
“腦暴小組”里，集結了來自北上深+北美4地、腦洞大、產出過無數爆款的產品、設計、交互工程、運營和市場同學。最終，在為期20天產出的100+方案內，大家選取了6個道具創(chuàng)意，承接不同年齡、層級和喜好的用戶需求。
適合全民、低門檻拍攝的“變漫畫”玩法：
二次元新奇玩法：
“結合抖音用戶喜好、歷年爆款道具特征和3輪nps調研結果，我們最終把「變身漫畫」當作了‘漫畫系列’的主推道具?！碑a品團隊玉辰說。
在玩法開發(fā)的過程中，“手控滑桿”是首次使用的新交互形式。然而，在初期版本中，80%的用戶都無法“拖動滑桿”變身，交互嘗試屢次碰壁。
但產品和交互工程同學仍然堅持在這個方向做最極致的道具效果?！耙驗槲覀冏哌M商場、地鐵、小區(qū)采訪了近百名用戶的體驗感受，發(fā)現(xiàn)一旦能滑動成功，他們明顯更驚喜，玩性大增?！?/p>
點擊視頻，看廣大網友的多樣化玩法
隨著漫畫特效在抖音大火，產品同學聯(lián)動剪映、輕顏等多款產品上線了同款變漫畫圖片功能，進一步推熱二次元狂潮。
“特效發(fā)酵的過程中，我們發(fā)現(xiàn)大家喜歡把婚紗照、全家福等合影變成漫畫，而實時動態(tài)方面我們還沒有實現(xiàn)多人同時需求，這意味著還有很多可挖掘的空間，而隨著技術的探索和積累，以后肯定還可以玩出更多花樣。”
大家很有信心，下一個爆款特效，正在路上。
轉載請在文章開頭和結尾顯眼處標注：作者、出處和鏈接。不按規(guī)范轉載侵權必究。
未經授權嚴禁轉載，授權事宜請聯(lián)系作者本人，侵權必究。
本文禁止轉載，侵權必究。
授權事宜請至數英微信公眾號(ID: digitaling) 后臺授權，侵權必究。
評論
評論
推薦評論
全部評論（5條）