自拍變漫畫AI大火:可將視頻/背景轉(zhuǎn)為漫畫風(fēng) 全程穩(wěn)定不掉線
原標(biāo)題:一張自拍變6種風(fēng)格漫畫,視頻也支持,全程穩(wěn)定不“掉線”,這個AI不到一天狂攬1800贊。這,就是最近在Reddit上大火的一個自拍變漫畫AI,不到一天就收獲了1800+贊。
訪問:
微軟Surface精選機型特惠6.3折起 翻新機滿100減100
把自拍變漫畫:
不止支持一種面部風(fēng)格:
任憑小姐姐怎么“全身大比劃”,效果都能保持穩(wěn)定,全程“不掉線”:
不止人臉,連全身和背景也都全部照顧到了。
什么來頭?
自拍變漫畫,人臉、全身、背景都照顧到
這個AI叫WebtoonMe,基于深度學(xué)習(xí)技術(shù)將圖像翻譯成漫畫風(fēng)格。
熟悉的朋友可能知道,Webtoon,web+cartoon,也就是“網(wǎng)頁版漫畫”,是漫畫的一種呈現(xiàn)形式,出自韓國。
這個自拍變身漫畫AI的技術(shù)團隊也來自韓國。
一開始,他們只做了人臉轉(zhuǎn)換,后來打算把背景也包括進去。
不過問題就來了:照片中的各種物體(如面部、身體部位、衣服、背景等)的風(fēng)格屬性都不太一樣,如何輸出統(tǒng)一的結(jié)果呢?
作者采訪了幾位webtoon的創(chuàng)作者后了解到,webtoon的“前景”和“背景”是用不同工具制作的,為了讓兩者更自然地融合,后期也添加了不少修飾。
因此,他們將這個AI分為面部轉(zhuǎn)換和背景轉(zhuǎn)換兩部分,即一個背景生成器+一個面部生成器,把人臉裁切出來和背景分別處理。
具體來說,他們先構(gòu)建了一個webtoon數(shù)據(jù)集,這個數(shù)據(jù)集由人臉、身體部位、物體和自然背景等不同部分組成。
然后創(chuàng)建了各種深度學(xué)習(xí)模型,用來減少前景和背景元素之間的風(fēng)格差異。
最后又模仿了不同webtoon創(chuàng)作者的修飾技術(shù),通過幾種后處理算法,讓生成的結(jié)果更自然、質(zhì)量更高。
具體的技術(shù)細節(jié)我們還未可知,目前也還沒有開放試用鏈接。
不過看起來讓很多心動的背后,一些細心的網(wǎng)友僅通過幾張示例就發(fā)現(xiàn)了一些問題。
眼睛的效果還需改進
就比如這個眼睛,很多網(wǎng)友表示有點恐怖啊,一直直視前方,眼球動也不動。
如果能模仿眼球轉(zhuǎn)動、眨眼睛、瞇眼等眼部動作,效果肯定會更好。
此外,拋去這一點,臉部和背景處理得都還不錯,就是這個身體部位風(fēng)格化得不夠徹底,還是有點像真人。
倒是這個AI的穩(wěn)定性值得讓人夸贊。
哦,還有一點美中不足,有網(wǎng)友“惋惜”:
要是這個AI還沒取名字就好了,不然就可以叫WaifuNet了……[旺柴]
One More Thing
要說這人物變動漫的AI,一直都層出不窮。
就比如前不久的AnimeGAN2,采用神經(jīng)風(fēng)格遷移+GAN,由湖北工業(yè)大學(xué)的三位學(xué)生和老師開發(fā),也是大火,一度需要網(wǎng)友排幾小時大隊才能看一眼自己在動漫里的樣子。
AnimeGAN2的風(fēng)格和今天的這個WebtoonMe不太一樣,變換重點也只包括人臉,所以眼部跟蹤做的挺好。
不過面對不夠高清的人臉時,效果一般。
兩者各有所長吧,你喜歡哪一種呢?
關(guān)鍵詞: AI 人工智能 自拍變漫畫AI大火:可將視頻/背景轉(zhuǎn)為漫畫
相關(guān)新聞