整合營銷服務商

          電腦端+手機端+微信端=數據同步管理

          免費咨詢熱線:

          谷歌上線AI新玩法:隨手亂涂鴉,一鍵變怪獸

          谷歌上線AI新玩法:隨手亂涂鴉,一鍵變怪獸

          師師 發自 凹非寺
          量子位 報道 | 公眾號 QbitAI

          小明隨意地涂鴉了一個頭部,再簡單地畫了個翅膀,加上一個大尾巴……再單擊「轉換」鍵。

          一只面目猙獰、皮膚粗糙、紋理細致的大怪獸就創造出來了。

          這是Google研究人員制作的AI工具奇美拉畫家Chimera Painter)。

          這是個線上繪畫工具,可以將涂鴉變成一個栩栩如生的怪物。

          奇美拉的條件型GAN

          研究人員建立了一個生物混合體的概念,就像是一個紙牌游戲。

          比如你拿到一張「鯨」卡,通過組合,可以變成一個「鯨VS大象」的嵌合體怪獸。

          這個組合而成藝術作品,還能保留原始圖像的視覺特征。

          在此之前生成式對抗網絡 (GAN, Generative Adversarial Networks )被廣泛用于圖像創作上。GAN一般包含兩個模塊:

          • 生成模型(Generative Model)
          • 判別模型(Discriminative Model)

          兩個模塊互相博弈學習產生相當好的輸出。一個優秀的GAN應用需要有良好的訓練方法,否則可能由于神經網絡模型的自由性而導致輸出不理想。

          例如,麻省理工學院和IBM合作,開發出了“GAN繪畫工作室”。

          允許用戶上傳自選圖像以從多種角度修改其外觀,從更改對象的大小到添加全新的物體,例如如樹木、窗戶、建筑物、桌子……等等。

          再有,英偉達(Nvidia)最新的AI軟件將粗糙的涂鴉變成真實的風景。

          而在奇美拉畫家中,與前兩者注重照片寫實的GAN不一樣,他們采用了一種稱作條件型GAN的方法。

          這種方法與一般的GAN不一樣,一般的GAN是在一系列圖片基礎上,生成器和判別器相互對抗磨合,形成全新的圖。

          奇美拉畫家則是需要在生成器中輸入一張創作圖,在此基礎上,再通過GAN生成新圖。

          將怪獸肢解建模,再組合渲染

          為了訓練GAN,研究人員創建了10000多個全彩色圖像的數據集,包含不同生物的3D模型。

          在這個生物模型的數據庫中,不僅描繪了每個生物整體的大小和形狀,還提供了肢體、器官、軀干的分割圖。

          藝術家就在這些“肢解”模型的基礎上,重新組合出新的“生物”。可以選擇頭、牙齒、軀干、翅膀等不同部分進行繪畫。

          可以看到左側有各種肢體部分選項按鈕。

          然后經過GAN,選出組合得最好的模型,將之合并,輸出到Chimera Painter中。

          得先制作生物紋理

          在GAN模型中,在渲染對比度低的圖像部分時,會有跳格,使圖像失去空間連貫性。

          例如這張圖的腿和眼睛的識別界限不清晰,導致輸出來的圖像奇奇怪怪。

          為了解決這個問題,奇美拉畫家的研究人員開發了一種新的半自動化方法。

          奇美拉畫家對每種所需的生物類型(例如鬣狗或獅子)都會建立一個模型。

          然后,藝術家使用虛幻引擎制作了疊加在3D模型上的彩色紋理。

          再將「分割圖」的單色(例如頭,耳,頸等部分)套用到模型上,確保GAN了解到藝術家指定的的結構,形狀,紋理和比例。

          再次使用虛幻引擎將3D生物模型放置在簡單的3D場景中。

          為了增加數據庫的模型數量,一個自動化腳本會主動采用這個3D場景。在10000張生物模型的基礎上,繼續補充,生成了10000+張圖像+分割圖。

          根據生物的不同姿勢,在視點和縮放級別之間進行插值,創建出全色圖像和分割圖,形成GAN新的訓練數據集。

          而每次手動創建這些數據,需要20多分鐘。

          谷歌表示,奇美拉畫家為藝術家節省了數百萬小時的時間。

          參考鏈接:
          https://www.theverge.com/2019/3/19/18272602/ai-art-generation-gan-nvidia-doodle-landscapes
          https://www.theverge.com/tldr/2020/11/18/21572884/google-ai-tool-gan-chimera-painter-machine-learning-monsters
          https://storage.googleapis.com/chimera-painter/index.html
          https://www.ithome.com/0/433/709.htm

          https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html

          — 完 —


          量子位 QbitAI · 頭條號簽約


          關注我們,第一時間獲知前沿科技動態

          天下沒有難畫的簡筆畫, 愿天下知識都能秒會

          福利:懶人簡筆畫發粉絲紅包了, 支付寶首頁搜索“9092116”領取,現金發放,人人有份



          javascript
          1.第1個程序helloworld2.簡明教程3.技巧大全
          4.Qrcode生成二維碼5.qrious生成二維碼6.jquery生成二維碼
          7.開發js小游戲8.經典類庫9.13個類庫
          10.12個圖表類庫11.幾十個學習網站12.js正則表達式
          13.weui等18個庫

          <script>

          function go

          {

          var allHtml="";

          var h=35;//高

          var w=30;//寬

          var l=25; //每行l個

          var cell=80;//格子大小

          for( var i=0;i<500;i++)

          {

          var yTop=Math.tan(26.5*2*Math.PI/360)*w;

          var x1=10+i%l*cell;

          var y1=parseInt(i/l)*cell;

          var x2=x1+w;

          var y2=y1-yTop;

          var x3=x1+w+w;

          var y3=y1;

          var x4=x3;

          var y4=y1+h;

          var x5=x2;

          var y5=y4+yTop;

          var x6=x1;

          var y6=y4;

          var x7=x2;

          var y7=y1+yTop;

          var strh=h.toString;

          var strw=w.toString;

          var strx1=x1.toString;

          var stry1=y1.toString;

          var strx2=x2.toString;

          var stry2=y2.toString;

          var strx3=x3.toString;

          var stry3=y3.toString;

          var strx4=x4.toString;

          var stry4=y4.toString;

          var strx5=x5.toString;

          var stry5=y5.toString;

          var strx6=x6.toString;

          var stry6=y6.toString;

          var strx7=x7.toString;

          var stry7=y7.toString;

          if( y5<=y7 ) break;

          allHtml+="<g><polyline fill=\"none\" stroke=\"#000000\" stroke-linecap=\"round\" stroke-linejoin=\"round\" stroke-miterlimit=\"10\" points=\""+strx1+","+stry1+" "+strx2+","+stry2+" "+strx3+","+stry3+" "+strx4+","+stry4+" "+strx5+","+stry5+" "+strx6+","+stry6+" "+strx1+","+stry1+"\"/>";

          allHtml+="\n";

          allHtml+="<line stroke=\"#000000\" stroke-linecap=\"round\" stroke-linejoin=\"round\" stroke-miterlimit=\"10\" x1=\""+strx1+"\" y1=\""+stry1+"\" x2=\""+strx7+"\" y2=\""+stry7+"\"/>";

          allHtml+="\n";

          allHtml+="<line stroke=\"#000000\" stroke-linecap=\"round\" stroke-linejoin=\"round\" stroke-miterlimit=\"10\" x1=\""+strx3+"\" y1=\""+stry3+"\" x2=\""+strx7+"\" y2=\""+stry7+"\"/>";

          allHtml+="\n";

          allHtml+="<line stroke=\"#000000\" stroke-linecap=\"round\" stroke-linejoin=\"round\" stroke-miterlimit=\"10\" x1=\""+strx5+"\" y1=\""+stry5+"\" x2=\""+strx7+"\" y2=\""+stry7+"\"/></g>";

          h-=0.1;

          }

          document.getElementById('txt1').value=allHtml;

          }

          </script>

          <body onload="go">

          <textarea rows="50" cols="100" id="txt1"></textarea>



          簡筆畫
          1.工具2.排線3.自動畫畫
          4.表情5.眼睛6.鼻子
          7.嘴8.發9.手
          10.身11.姿勢12.衣服
          13.火柴人14.Q版人物15.十二生肖
          16.貓17.鼠18.牛
          19.虎20.兔21.龍
          22.蛇23.馬24.羊
          25.猴26.雞27.狗
          28.豬29.大象30.獅子
          31.長頸鹿32.鳥33.蝦蟹
          34.魚35.蛙36.建筑
          37.家具38.文具39.交通
          40.花草41.樹42.水果
          43.蛋糕44.食物45.春節
          46.圣誕素材47.盆栽48.風景
          49.車50.樂器51.房子
          52.京劇53.3D54.七龍珠全家福
          55.小丸子全家福56.蠟筆小新全家福57.機器貓全家福
          58.巴巴爸爸全家福59.小豬佩奇全家福60.旅行青蛙全家福
          61.光頭強熊出沒全家福62.海綿寶寶全家福63.丁老頭全家福
          64.米老鼠全家福65.大白66.粉紅豹
          67.葫蘆娃全家福68.藍精靈全家福69.超級飛俠
          70.柯南71.老夫子72.辛普森
          73.喜羊羊74.花仙子75.擠娃娃
          76.裝飾畫77.英語花體78.紋身畫
          79.灰塵畫80.漫畫插畫家81.沙畫
          82.像素畫83.春節84.粉紅豹
          85.阿貍86.超人87.貓和老鼠
          88.石頭畫89.插花90.思維導圖
          91.ai92.sai93.photoshop
          94.狐貍95.阿拉蕾96.花木蘭
          97.奧特曼98.一拳超人99.復仇者聯盟
          100.英雄聯盟101.河馬102.爾康
          103.地圖

          懶人大學-愿天下知識都能秒會
          1.簡筆畫2.公開課3.水彩
          4.水墨畫5.書法6.手抄報
          7.像素畫8.數位板9.手帳
          10.素描11.速寫12.花體
          13.自動畫畫14.折紙15.唱歌
          16.編曲17.尤克里里18.吉他
          19.物理20.化學21.少兒舞蹈
          22.C語言23.爬蟲24.AI音箱評測
          25.手機評測26.PPT27.ai
          28.sai29.Excel30.程序員網站
          31.Linux32.ih533.小程序
          34.javascript35.公眾號36.搜索引擎
          37.中國歷史38.聲律啟蒙39.鬼故事
          40.幸福故事41.解剖學42.常見病
          43.國學44.國際音標45.日語
          46.馬來語47.德語48.藏語
          49.意大利語50.葡萄牙語51.西班牙語
          52.越南語53.泰語54.俄語
          55.阿拉伯語56.韓語57.英語
          58.法語59.Adobe Illustrator60.Adobe Photoshop
          61.攝影教程匯總62.經典片頭欣賞63.粥
          64.餃子65.烹飪教程匯總66.會計
          67.插花教程匯總68.健身69.瑜伽
          70.ted演講匯總71.思維導圖72.整理教程匯總
          73.裝修74.包包DIY教程75.科學
          76.區塊鏈77.偉人78.玩具
          79.體育80.電子81.考研政治
          82.哲學83.旅游84.服裝
          85.股票86.種菜87.建筑
          88.t恤89.數字電路90.高考
          91.AE特效92.生物學93.人工智能
          94.棋牌95.機器人96.童話
          97.玩具98.粥99.征稿
          100.炒菜機101.access102.自媒體
          103.投資104.武器105.力學

          找不到您需要的教程?加群留言吧

          懶人大學vip QQ群433569528

          《懶人簡筆畫》同名圖書已發售

          京東,當當,淘寶,亞馬遜 搜 懶人簡筆畫

          史上第1本手殘黨秒會畫畫的書

          報名懶人大學1對1培訓班請加微信:mhw1212666

          投稿請私信微博:懶人簡筆畫

          福利:打開支付寶首頁搜索“9092116”,即可領懶人大學專屬隨機紅包,每天都有哦

          輯:好困

          【新智元導讀】近日,清華大學提出的非成對人臉照片肖像線條畫生成方法,被IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI)錄取為regular paper。代碼已經全部在Github上開源。


          近三年,劉永進教授課題組在該方向上已經發表了四篇PAMI和CVPR論文。


          而這4篇論文有著相同的一作:易冉。



          易冉現在是上海交通大學計算機系助理教授。她于2016年獲得清華大學工學學士學位,2021年獲得清華大學工學博士學位。她的研究方向包括計算機圖形學、計算機視覺和計算幾何。近五年共發表錄用20余篇論文于IEEE PAMI、ACM TOG、TVCG、CVPR、ICCV、AAAI等國際期刊和會議。


          2021年12月,易冉獲得中國圖象圖形學學會2021年度石青云女科學家獎。


          她的博士學位論文《藝術肖像畫的多風格與跨模態深度生成模型研究》,受到答辯委員會主席張鈸院士、委員查紅彬教授、陳熙霖教授、史元春教授和胡事民教授的一致好評,入選2021年清華大學優秀博士學位論文。



          除此以外,易冉還獲得過中國計算機學會計算機視覺專委會學術新銳獎、第十六屆圖像圖形技術與應用學術會議(IGTA2021)論文競賽一等獎、北京市圖象圖形學學會優秀博士論文、微軟學者提名獎等學術獎項。


          并且她還擔任中國圖象圖形學學會智能圖形專委會、動畫與數字娛樂專委會委員,AAAI程序委員會委員,IJCV、TIP、TMM、CVPR、ICCV、NeurIPS、ICLR、VR等重要期刊會議審稿人。


          課題組部分成員合影


          連續4年發表頂刊頂會論文


          2022

          論文鏈接:https://doi.org/10.1109/TPAMI.2022.3147570
          代碼鏈接:https://github.com/yiranran/QMUPD


          2021

          論文鏈接:https://doi.org/10.1109/TPAMI.2020.2987931
          代碼鏈接:https://github.com/yiranran/APDrawingGAN2


          2020

          論文鏈接:https://doi.org/10.1109/CVPR42600.2020.00824

          代碼鏈接:https://github.com/yiranran/Unpaired-Portrait-Drawing


          2019

          論文鏈接:https://doi.org/10.1109/CVPR.2019.01100

          代碼鏈接:https://github.com/yiranran/APDrawingGAN


          實現方法


          肖像線條畫是一種高度抽象、具有表現力的藝術形式,將人物肖像中的豐富信息進行高度壓縮,僅用稀疏的圖形元素(如線條)表示。精致的肖像線條畫需要藝術家精心繪制,十分耗費時間。一些現有方法使用成對訓練數據生成肖像畫,但是收集數據的過程是昂貴且耗時的。


          論文提出一種基于非成對數據的從人臉照片生成肖像線條畫的方法,該方法可以(1)使用單個網絡生成多種風格的高質量肖像線條畫,以及(2)生成訓練數據中未出現的「新風格」肖像畫。


          論文提出一種從人類感知數據中學習肖像線條畫質量指標(quality metric)的方法。首先使用現有方法生成許多肖像線條畫,并與藝術家的畫作混合,收集的樣本如下圖所示。


          通過用戶實驗收集人類對這些肖像線條畫的偏好,由此計算得到每個肖像線條畫的質量分數(quality score)。然后用這些數據訓練一個回歸網絡,其輸入為一幅肖像線條畫,輸出為該肖像線條畫的質量分數。


          該回歸網絡從人類評估數據中學習,因此其預測的分數可以幫助引導肖像畫生成器生成更高質量的結果。


          為訓練質量度量模型收集的肖像線條畫樣本,包括生成的與藝術家繪制的肖像畫。從上至下肖像畫質量逐漸下降。


          在網絡模型的結構方面:


          (1)該模型基于非對稱循環映射結構和截斷損失,以解決非成對訓練場景下已有方法常出現的信息隱藏和重要特征缺失問題。


          (2)提出基于上述質量度量模型的質量損失(quality loss),以引導生成網絡生成「更好看」的肖像畫。


          (3)通過在生成器部分引入風格特征及風格分類鑒別器,進一步使得單個模型能實現多種風格的肖像線條畫的生成。


          網絡結構示意圖


          論文進一步提出生成訓練數據中未出現的「新風格」肖像線條畫的方法。在模型的多風格生成場景下,不同的風格特征會導致不同的風格輸出,三種目標風格分別對應于向量[1,0,0],[0,1,0]和[0,0,1]。


          給定一個「新」風格的肖像線條畫參考圖,論文提出使用訓練好的生成器,在風格特征空間中搜索一個最優的風格特征,使其生成的肖像線條畫在風格上與參考圖最相似。最佳的風格特征向量通過優化該向量引導生成的肖像畫與目標之間的風格距離得到。


          「新」風格生成示例


          給定(a)中的目標「新」風格肖像畫(即在訓練數據中看不到的風格),我們通過優化風格損失,找到合適的風格特征向量,生成與目標相似的肖像畫。優化過程如(c)所示,最終生成的結果如(d)所示。優化過程中風格損失的變化如(e)所示。


          論文對生成模型進行了特征圖可視化,并將其與人臉語義圖進行比較,以進一步分析生成網絡。實驗結果驗證了生成器在生成過程中學習了人臉的語義信息。大量實驗表明,論文所提出的模型優于目前最先進的方法。


          下圖給出了所提出的方法與多種風格遷移、圖像到圖像轉換方法的對比結果。論文所提出方法生成了比現有方法更高質量的結果,既保留了人臉結構,又具有良好的圖像和線條質量。


          與最新方法的比較


          (a)輸入人臉照片;(b-c)風格遷移方法:Gatys和線性風格轉換方法;(f)單模態的圖像到圖像的轉換方法:DualGAN,CycleGAN,UNIT;(d)多模態的圖像到圖像的轉換方法MUNIT;(e)論文的方法去除質量損失,輸出的三種風格;(i)使用成對訓練數據的肖像生成方法APDrawingGAN++方法;(j)論文方法生成的三種風格。


          更多實驗對比


          (a)輸入人臉照片;(b)DualGAN方法結果;(c)CycleGAN結果;(d)UNIT結果;(e-g)論文方法的結果。


          參考資料:

          https://news.sjtu.edu.cn/zhxw/20211222/165563.html

          [1]Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data

          https://doi.org/10.1109/TPAMI.2022.3147570
          https://github.com/yiranran/QMUPD

          [2]Line Drawings for Face Portraits from Photos using Global and Local Structure based GANs

          https://doi.org/10.1109/TPAMI.2020.2987931
          https://github.com/yiranran/APDrawingGAN


          主站蜘蛛池模板: 一本一道波多野结衣AV一区| 亚洲AV无码一区二区二三区软件| 亚洲av无码天堂一区二区三区| 国产伦精品一区二区三区免费下载 | 99精品一区二区三区无码吞精| 亚洲一区二区三区四区视频| 在线|一区二区三区四区| 免费在线观看一区| 激情一区二区三区| av一区二区三区人妻少妇| 亚洲av无码天堂一区二区三区 | 麻豆AV无码精品一区二区| 国内精品视频一区二区八戒| 国产一区二区精品久久岳| 久久er99热精品一区二区| 国产麻豆剧果冻传媒一区| 国内偷窥一区二区三区视频| 一色一伦一区二区三区| 国产精品主播一区二区| 日本一区二区三区爆乳| 精品视频一区二区三区| 国产精品视频一区二区猎奇| 一区视频在线播放| 国产91久久精品一区二区| 精品亚洲一区二区三区在线观看| 在线观看亚洲一区二区| 国产韩国精品一区二区三区| 久久精品国产AV一区二区三区| 一区二区三区在线免费| 国产一区二区不卡老阿姨| 亚洲电影唐人社一区二区| 一区二区三区视频观看| 国产对白精品刺激一区二区| 一本色道久久综合一区| 久久久久人妻精品一区二区三区| 福利在线一区二区| 国产精品合集一区二区三区| 成人影片一区免费观看| 国产成人综合精品一区| 日本一区二区免费看| 无码精品人妻一区|