谷歌上線AI新玩法：隨手亂涂鴉，一鍵變怪獸

師師發(fā)自凹非寺
量子位報道 | 公眾號 QbitAI

小明隨意地涂鴉了一個頭部，再簡單地畫了個翅膀，加上一個大尾巴……再單擊「轉(zhuǎn)換」鍵。

一只面目猙獰、皮膚粗糙、紋理細致的大怪獸就創(chuàng)造出來了。

這是Google研究人員制作的AI工具奇美拉畫家（Chimera Painter）。

這是個線上繪畫工具，可以將涂鴉變成一個栩栩如生的怪物。

奇美拉的條件型GAN

研究人員建立了一個生物混合體的概念，就像是一個紙牌游戲。

比如你拿到一張「鯨」卡，通過組合，可以變成一個「鯨VS大象」的嵌合體怪獸。

這個組合而成藝術作品，還能保留原始圖像的視覺特征。

在此之前生成式對抗網(wǎng)絡（GAN, Generative Adversarial Networks ）被廣泛用于圖像創(chuàng)作上。GAN一般包含兩個模塊：

生成模型（Generative Model）
判別模型（Discriminative Model）

兩個模塊互相博弈學習產(chǎn)生相當好的輸出。一個優(yōu)秀的GAN應用需要有良好的訓練方法，否則可能由于神經(jīng)網(wǎng)絡模型的自由性而導致輸出不理想。

例如，麻省理工學院和IBM合作，開發(fā)出了“GAN繪畫工作室”。

允許用戶上傳自選圖像以從多種角度修改其外觀，從更改對象的大小到添加全新的物體，例如如樹木、窗戶、建筑物、桌子……等等。

再有，英偉達（Nvidia）最新的AI軟件將粗糙的涂鴉變成真實的風景。

而在奇美拉畫家中，與前兩者注重照片寫實的GAN不一樣，他們采用了一種稱作條件型GAN的方法。

這種方法與一般的GAN不一樣，一般的GAN是在一系列圖片基礎上，生成器和判別器相互對抗磨合，形成全新的圖。

奇美拉畫家則是需要在生成器中輸入一張創(chuàng)作圖，在此基礎上，再通過GAN生成新圖。

將怪獸肢解建模，再組合渲染

為了訓練GAN，研究人員創(chuàng)建了10000多個全彩色圖像的數(shù)據(jù)集，包含不同生物的3D模型。

在這個生物模型的數(shù)據(jù)庫中，不僅描繪了每個生物整體的大小和形狀，還提供了肢體、器官、軀干的分割圖。

藝術家就在這些“肢解”模型的基礎上，重新組合出新的“生物”。可以選擇頭、牙齒、軀干、翅膀等不同部分進行繪畫。

可以看到左側有各種肢體部分選項按鈕。

然后經(jīng)過GAN，選出組合得最好的模型，將之合并，輸出到Chimera Painter中。

得先制作生物紋理

在GAN模型中，在渲染對比度低的圖像部分時，會有跳格，使圖像失去空間連貫性。

例如這張圖的腿和眼睛的識別界限不清晰，導致輸出來的圖像奇奇怪怪。

為了解決這個問題，奇美拉畫家的研究人員開發(fā)了一種新的半自動化方法。

奇美拉畫家對每種所需的生物類型（例如鬣狗或獅子）都會建立一個模型。

然后，藝術家使用虛幻引擎制作了疊加在3D模型上的彩色紋理。

再將「分割圖」的單色（例如頭，耳，頸等部分）套用到模型上，確保GAN了解到藝術家指定的的結構，形狀，紋理和比例。

再次使用虛幻引擎將3D生物模型放置在簡單的3D場景中。

為了增加數(shù)據(jù)庫的模型數(shù)量，一個自動化腳本會主動采用這個3D場景。在10000張生物模型的基礎上，繼續(xù)補充，生成了10000+張圖像+分割圖。

根據(jù)生物的不同姿勢，在視點和縮放級別之間進行插值，創(chuàng)建出全色圖像和分割圖，形成GAN新的訓練數(shù)據(jù)集。

而每次手動創(chuàng)建這些數(shù)據(jù)，需要20多分鐘。

谷歌表示，奇美拉畫家為藝術家節(jié)省了數(shù)百萬小時的時間。

參考鏈接：
https://www.theverge.com/2019/3/19/18272602/ai-art-generation-gan-nvidia-doodle-landscapes
https://www.theverge.com/tldr/2020/11/18/21572884/google-ai-tool-gan-chimera-painter-machine-learning-monsters
https://storage.googleapis.com/chimera-painter/index.html
https://www.ithome.com/0/433/709.htm

https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態(tài)

天下沒有難畫的簡筆畫，愿天下知識都能秒會

福利：懶人簡筆畫發(fā)粉絲紅包了，支付寶首頁搜索“9092116”領取，現(xiàn)金發(fā)放，人人有份

javascript
1.第1個程序helloworld	2.簡明教程	3.技巧大全
4.Qrcode生成二維碼	5.qrious生成二維碼	6.jquery生成二維碼
7.開發(fā)js小游戲	8.經(jīng)典類庫	9.13個類庫
10.12個圖表類庫	11.幾十個學習網(wǎng)站	12.js正則表達式
13.weui等18個庫

function go

{

var allHtml="";

var h=35;//高

var w=30;//寬

var l=25; //每行l(wèi)個

var cell=80;//格子大小

for( var i=0;i<500;i++)

{

var yTop=Math.tan(26.5*2*Math.PI/360)*w;

var x1=10+i%l*cell;

var y1=parseInt(i/l)*cell;

var x2=x1+w;

var y2=y1-yTop;

var x3=x1+w+w;

var y3=y1;

var x4=x3;

var y4=y1+h;

var x5=x2;

var y5=y4+yTop;

var x6=x1;

var y6=y4;

var x7=x2;

var y7=y1+yTop;

var strh=h.toString;

var strw=w.toString;

var strx1=x1.toString;

var stry1=y1.toString;

var strx2=x2.toString;

var stry2=y2.toString;

var strx3=x3.toString;

var stry3=y3.toString;

var strx4=x4.toString;

var stry4=y4.toString;

var strx5=x5.toString;

var stry5=y5.toString;

var strx6=x6.toString;

var stry6=y6.toString;

var strx7=x7.toString;

var stry7=y7.toString;

if( y5<=y7 ) break;

allHtml+="<g><polyline fill=\"none\" stroke=\"#000000\" stroke-linecap=\"round\" stroke-linejoin=\"round\" stroke-miterlimit=\"10\" points=\""+strx1+","+stry1+" "+strx2+","+stry2+" "+strx3+","+stry3+" "+strx4+","+stry4+" "+strx5+","+stry5+" "+strx6+","+stry6+" "+strx1+","+stry1+"\"/>";

allHtml+="\n";

allHtml+="<line stroke=\"#000000\" stroke-linecap=\"round\" stroke-linejoin=\"round\" stroke-miterlimit=\"10\" x1=\""+strx1+"\" y1=\""+stry1+"\" x2=\""+strx7+"\" y2=\""+stry7+"\"/>";

allHtml+="\n";

allHtml+="<line stroke=\"#000000\" stroke-linecap=\"round\" stroke-linejoin=\"round\" stroke-miterlimit=\"10\" x1=\""+strx3+"\" y1=\""+stry3+"\" x2=\""+strx7+"\" y2=\""+stry7+"\"/>";

allHtml+="\n";

allHtml+="<line stroke=\"#000000\" stroke-linecap=\"round\" stroke-linejoin=\"round\" stroke-miterlimit=\"10\" x1=\""+strx5+"\" y1=\""+stry5+"\" x2=\""+strx7+"\" y2=\""+stry7+"\"/></g>";

h-=0.1;

}

document.getElementById('txt1').value=allHtml;

}

</script>

簡筆畫
1.工具	2.排線	3.自動畫畫
4.表情	5.眼睛	6.鼻子
7.嘴	8.發(fā)	9.手
10.身	11.姿勢	12.衣服
13.火柴人	14.Q版人物	15.十二生肖
16.貓	17.鼠	18.牛
19.虎	20.兔	21.龍
22.蛇	23.馬	24.羊
25.猴	26.雞	27.狗
28.豬	29.大象	30.獅子
31.長頸鹿	32.鳥	33.蝦蟹
34.魚	35.蛙	36.建筑
37.家具	38.文具	39.交通
40.花草	41.樹	42.水果
43.蛋糕	44.食物	45.春節(jié)
46.圣誕素材	47.盆栽	48.風景
49.車	50.樂器	51.房子
52.京劇	53.3D	54.七龍珠全家福
55.小丸子全家福	56.蠟筆小新全家福	57.機器貓全家福
58.巴巴爸爸全家福	59.小豬佩奇全家福	60.旅行青蛙全家福
61.光頭強熊出沒全家福	62.海綿寶寶全家福	63.丁老頭全家福
64.米老鼠全家福	65.大白	66.粉紅豹
67.葫蘆娃全家福	68.藍精靈全家福	69.超級飛俠
70.柯南	71.老夫子	72.辛普森
73.喜羊羊	74.花仙子	75.擠娃娃
76.裝飾畫	77.英語花體	78.紋身畫
79.灰塵畫	80.漫畫插畫家	81.沙畫
82.像素畫	83.春節(jié)	84.粉紅豹
85.阿貍	86.超人	87.貓和老鼠
88.石頭畫	89.插花	90.思維導圖
91.ai	92.sai	93.photoshop
94.狐貍	95.阿拉蕾	96.花木蘭
97.奧特曼	98.一拳超人	99.復仇者聯(lián)盟
100.英雄聯(lián)盟	101.河馬	102.爾康
103.地圖

懶人大學-愿天下知識都能秒會
1.簡筆畫	2.公開課	3.水彩
4.水墨畫	5.書法	6.手抄報
7.像素畫	8.數(shù)位板	9.手帳
10.素描	11.速寫	12.花體
13.自動畫畫	14.折紙	15.唱歌
16.編曲	17.尤克里里	18.吉他
19.物理	20.化學	21.少兒舞蹈
22.C語言	23.爬蟲	24.AI音箱評測
25.手機評測	26.PPT	27.ai
28.sai	29.Excel	30.程序員網(wǎng)站
31.Linux	32.ih5	33.小程序
34.javascript	35.公眾號	36.搜索引擎
37.中國歷史	38.聲律啟蒙	39.鬼故事
40.幸福故事	41.解剖學	42.常見病
43.國學	44.國際音標	45.日語
46.馬來語	47.德語	48.藏語
49.意大利語	50.葡萄牙語	51.西班牙語
52.越南語	53.泰語	54.俄語
55.阿拉伯語	56.韓語	57.英語
58.法語	59.Adobe Illustrator	60.Adobe Photoshop
61.攝影教程匯總	62.經(jīng)典片頭欣賞	63.粥
64.餃子	65.烹飪教程匯總	66.會計
67.插花教程匯總	68.健身	69.瑜伽
70.ted演講匯總	71.思維導圖	72.整理教程匯總
73.裝修	74.包包DIY教程	75.科學
76.區(qū)塊鏈	77.偉人	78.玩具
79.體育	80.電子	81.考研政治
82.哲學	83.旅游	84.服裝
85.股票	86.種菜	87.建筑
88.t恤	89.數(shù)字電路	90.高考
91.AE特效	92.生物學	93.人工智能
94.棋牌	95.機器人	96.童話
97.玩具	98.粥	99.征稿
100.炒菜機	101.access	102.自媒體
103.投資	104.武器	105.力學

找不到您需要的教程?加群留言吧

懶人大學vip QQ群433569528

《懶人簡筆畫》同名圖書已發(fā)售

京東，當當，淘寶，亞馬遜搜懶人簡筆畫

史上第1本手殘黨秒會畫畫的書

報名懶人大學1對1培訓班請加微信:mhw1212666

投稿請私信微博：懶人簡筆畫

福利：打開支付寶首頁搜索“9092116”，即可領懶人大學專屬隨機紅包，每天都有哦

輯：好困

【新智元導讀】近日，清華大學提出的非成對人臉照片肖像線條畫生成方法，被IEEE Transactions on Pattern Analysis and Machine Intelligence（PAMI）錄取為regular paper。代碼已經(jīng)全部在Github上開源。

近三年，劉永進教授課題組在該方向上已經(jīng)發(fā)表了四篇PAMI和CVPR論文。

而這4篇論文有著相同的一作：易冉。

易冉現(xiàn)在是上海交通大學計算機系助理教授。她于2016年獲得清華大學工學學士學位，2021年獲得清華大學工學博士學位。她的研究方向包括計算機圖形學、計算機視覺和計算幾何。近五年共發(fā)表錄用20余篇論文于IEEE PAMI、ACM TOG、TVCG、CVPR、ICCV、AAAI等國際期刊和會議。

2021年12月，易冉獲得中國圖象圖形學學會2021年度石青云女科學家獎。

她的博士學位論文《藝術肖像畫的多風格與跨模態(tài)深度生成模型研究》，受到答辯委員會主席張鈸院士、委員查紅彬教授、陳熙霖教授、史元春教授和胡事民教授的一致好評，入選2021年清華大學優(yōu)秀博士學位論文。

除此以外，易冉還獲得過中國計算機學會計算機視覺專委會學術新銳獎、第十六屆圖像圖形技術與應用學術會議（IGTA2021）論文競賽一等獎、北京市圖象圖形學學會優(yōu)秀博士論文、微軟學者提名獎等學術獎項。

并且她還擔任中國圖象圖形學學會智能圖形專委會、動畫與數(shù)字娛樂專委會委員，AAAI程序委員會委員，IJCV、TIP、TMM、CVPR、ICCV、NeurIPS、ICLR、VR等重要期刊會議審稿人。

課題組部分成員合影

連續(xù)4年發(fā)表頂刊頂會論文

2022

論文鏈接：https://doi.org/10.1109/TPAMI.2022.3147570
代碼鏈接：https://github.com/yiranran/QMUPD

2021

論文鏈接：https://doi.org/10.1109/TPAMI.2020.2987931
代碼鏈接：https://github.com/yiranran/APDrawingGAN2

2020

論文鏈接：https://doi.org/10.1109/CVPR42600.2020.00824

代碼鏈接：https://github.com/yiranran/Unpaired-Portrait-Drawing

2019

論文鏈接：https://doi.org/10.1109/CVPR.2019.01100

代碼鏈接：https://github.com/yiranran/APDrawingGAN

實現(xiàn)方法

肖像線條畫是一種高度抽象、具有表現(xiàn)力的藝術形式，將人物肖像中的豐富信息進行高度壓縮，僅用稀疏的圖形元素（如線條）表示。精致的肖像線條畫需要藝術家精心繪制，十分耗費時間。一些現(xiàn)有方法使用成對訓練數(shù)據(jù)生成肖像畫，但是收集數(shù)據(jù)的過程是昂貴且耗時的。

論文提出一種基于非成對數(shù)據(jù)的從人臉照片生成肖像線條畫的方法，該方法可以（1）使用單個網(wǎng)絡生成多種風格的高質(zhì)量肖像線條畫，以及（2）生成訓練數(shù)據(jù)中未出現(xiàn)的「新風格」肖像畫。

論文提出一種從人類感知數(shù)據(jù)中學習肖像線條畫質(zhì)量指標（quality metric）的方法。首先使用現(xiàn)有方法生成許多肖像線條畫，并與藝術家的畫作混合，收集的樣本如下圖所示。

通過用戶實驗收集人類對這些肖像線條畫的偏好，由此計算得到每個肖像線條畫的質(zhì)量分數(shù)（quality score）。然后用這些數(shù)據(jù)訓練一個回歸網(wǎng)絡，其輸入為一幅肖像線條畫，輸出為該肖像線條畫的質(zhì)量分數(shù)。

該回歸網(wǎng)絡從人類評估數(shù)據(jù)中學習，因此其預測的分數(shù)可以幫助引導肖像畫生成器生成更高質(zhì)量的結果。

為訓練質(zhì)量度量模型收集的肖像線條畫樣本，包括生成的與藝術家繪制的肖像畫。從上至下肖像畫質(zhì)量逐漸下降。

在網(wǎng)絡模型的結構方面：

（1）該模型基于非對稱循環(huán)映射結構和截斷損失，以解決非成對訓練場景下已有方法常出現(xiàn)的信息隱藏和重要特征缺失問題。

（2）提出基于上述質(zhì)量度量模型的質(zhì)量損失（quality loss），以引導生成網(wǎng)絡生成「更好看」的肖像畫。

（3）通過在生成器部分引入風格特征及風格分類鑒別器，進一步使得單個模型能實現(xiàn)多種風格的肖像線條畫的生成。

網(wǎng)絡結構示意圖

論文進一步提出生成訓練數(shù)據(jù)中未出現(xiàn)的「新風格」肖像線條畫的方法。在模型的多風格生成場景下，不同的風格特征會導致不同的風格輸出，三種目標風格分別對應于向量[1,0,0],[0,1,0]和[0,0,1]。

給定一個「新」風格的肖像線條畫參考圖，論文提出使用訓練好的生成器，在風格特征空間中搜索一個最優(yōu)的風格特征，使其生成的肖像線條畫在風格上與參考圖最相似。最佳的風格特征向量通過優(yōu)化該向量引導生成的肖像畫與目標之間的風格距離得到。

「新」風格生成示例

給定（a）中的目標「新」風格肖像畫（即在訓練數(shù)據(jù)中看不到的風格），我們通過優(yōu)化風格損失，找到合適的風格特征向量，生成與目標相似的肖像畫。優(yōu)化過程如（c）所示，最終生成的結果如（d）所示。優(yōu)化過程中風格損失的變化如（e）所示。

論文對生成模型進行了特征圖可視化，并將其與人臉語義圖進行比較，以進一步分析生成網(wǎng)絡。實驗結果驗證了生成器在生成過程中學習了人臉的語義信息。大量實驗表明，論文所提出的模型優(yōu)于目前最先進的方法。

下圖給出了所提出的方法與多種風格遷移、圖像到圖像轉(zhuǎn)換方法的對比結果。論文所提出方法生成了比現(xiàn)有方法更高質(zhì)量的結果，既保留了人臉結構，又具有良好的圖像和線條質(zhì)量。

與最新方法的比較

(a)輸入人臉照片；(b-c)風格遷移方法：Gatys和線性風格轉(zhuǎn)換方法；（f)單模態(tài)的圖像到圖像的轉(zhuǎn)換方法：DualGAN，CycleGAN，UNIT；（d）多模態(tài)的圖像到圖像的轉(zhuǎn)換方法MUNIT；(e)論文的方法去除質(zhì)量損失，輸出的三種風格；（i）使用成對訓練數(shù)據(jù)的肖像生成方法APDrawingGAN++方法；(j)論文方法生成的三種風格。

更多實驗對比

(a)輸入人臉照片；(b)DualGAN方法結果；(c)CycleGAN結果；(d)UNIT結果；(e-g)論文方法的結果。

參考資料：

https://news.sjtu.edu.cn/zhxw/20211222/165563.html

[1]Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data

https://doi.org/10.1109/TPAMI.2022.3147570
https://github.com/yiranran/QMUPD

[2]Line Drawings for Face Portraits from Photos using Global and Local Structure based GANs

https://doi.org/10.1109/TPAMI.2020.2987931
https://github.com/yiranran/APDrawingGAN

在線咨詢

上一篇：2022年上半年湖北省高等教育自學考試轉(zhuǎn)考2月21日
下一篇：token實現(xiàn)單點登錄

您的項目需求

*請認真填寫需求信息，我們會在24小時內(nèi)與您取得聯(lián)系。

整合營銷服務商

谷歌上線AI新玩法：隨手亂涂鴉，一鍵變怪獸

師師 發(fā)自 凹非寺 量子位 報道 | 公眾號 QbitAI

奇美拉的條件型GAN

將怪獸肢解建模，再組合渲染

得先制作生物紋理

【新智元導讀】近日，清華大學提出的非成對人臉照片肖像線條畫生成方法，被IEEE Transactions on Pattern Analysis and Machine Intelligence（PAMI）錄取為regular paper。代碼已經(jīng)全部在Github上開源。

連續(xù)4年發(fā)表頂刊頂會論文

實現(xiàn)方法

您的項目需求

師師發(fā)自凹非寺
量子位報道 | 公眾號 QbitAI