整合營銷服務(wù)商

          電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理

          免費(fèi)咨詢熱線:

          寫個(gè)網(wǎng)頁更簡單了!讓AI根據(jù)手繪原型生成HTML - 教程+代碼

          小新 編譯自 Insight Data Blog

          量子位 出品 | 公眾號 QbitAI

          寫個(gè)網(wǎng)頁能有多麻煩?在大多數(shù)公司里,這項(xiàng)工作分為三步:

          1. 產(chǎn)品經(jīng)理完成用戶調(diào)研任務(wù)后,列出一系列技術(shù)要求;

          2. 設(shè)計(jì)師根據(jù)這些要求來設(shè)計(jì)低保真原型,逐漸修改得到高保真原型和UI設(shè)計(jì)圖;

          3. 工程師將這些設(shè)計(jì)圖實(shí)現(xiàn)為代碼,最終變成用戶使用的產(chǎn)品。

          這么多環(huán)節(jié),任何地方出一點(diǎn)問題,都會拉長開發(fā)周期。因此,不少公司,比如Airbnb已經(jīng)開始用機(jī)器學(xué)習(xí)來提高這個(gè)過程的效率。

          Airbnb內(nèi)部的AI工具,從圖紙到代碼一步到位

          看起來很美好,但Airbnb還沒公開該模型中端到端訓(xùn)練的細(xì)節(jié),以及手工設(shè)計(jì)的圖像特征對該模型的貢獻(xiàn)度。這是該公司特有的閉源解決方案專利,可能不會進(jìn)行公開。

          好在,一個(gè)叫Ashwin Kumar的程序員創(chuàng)建了一個(gè)開源版本,讓開發(fā)者/設(shè)計(jì)師的工作變得更簡單。

          以下內(nèi)容翻譯自他的博客:

          理想上,這個(gè)模型可以根據(jù)網(wǎng)站設(shè)計(jì)的簡單手繪原型,很快地生成一個(gè)可用的HTML網(wǎng)站:

          SketchCode模型利用手繪線框圖來生成HTML網(wǎng)站

          事實(shí)上,上面例子就是利用訓(xùn)練好的模型在測試集上生成的一個(gè)實(shí)際網(wǎng)站,代碼請?jiān)L問:https://github.com/ashnkumar/sketch-code。

          從圖像標(biāo)注中獲取靈感

          目前要解決的問題屬于一種更廣泛的任務(wù),叫做程序綜合(program synthesis),即自動生成工作源代碼。盡管很多程序綜合研究通過自然語言規(guī)范或執(zhí)行追蹤法來生成代碼,但在當(dāng)前任務(wù)中,我會充分利用源圖像,即給出的手繪線框圖來展開工作。

          在機(jī)器學(xué)習(xí)中有一個(gè)十分熱門的研究領(lǐng)域,稱為圖像標(biāo)注(image caption),目的是構(gòu)建一種把圖像和文本連接在一起的模型,特別是用于生成源圖像內(nèi)容的描述。

          圖像標(biāo)注模型生成源圖像的文本描述

          我從一篇pix2code論文和另一個(gè)應(yīng)用這種方法的相關(guān)項(xiàng)目中獲得靈感,決定把我的任務(wù)按照圖像標(biāo)注方式來實(shí)現(xiàn),把繪制的網(wǎng)站線框圖作為輸入圖像,并將其相應(yīng)的HTML代碼作為其輸出內(nèi)容。

          注:上段提到的兩個(gè)參考項(xiàng)目分別是

          pix2code論文:https://arxiv.org/abs/1705.07962

          floydhub教程:https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org

          獲取合適的數(shù)據(jù)集

          確定圖像標(biāo)注方法后,理想中使用的訓(xùn)練數(shù)據(jù)集會包含成千上萬對手繪線框圖和對應(yīng)的HTML輸出代碼。但是,目前還沒有我想要的相關(guān)數(shù)據(jù)集,我只好為這個(gè)任務(wù)來創(chuàng)建數(shù)據(jù)集。

          最開始,我嘗試了pix2code論文給出的開源數(shù)據(jù)集,該數(shù)據(jù)集由1750張綜合生成網(wǎng)站的截圖及其相應(yīng)源代碼組成。

          pix2code數(shù)據(jù)集中的生成網(wǎng)站圖片和源代碼

          這是一個(gè)很好的數(shù)據(jù)集,有幾個(gè)有趣的地方:

          • 該數(shù)據(jù)集中的每個(gè)生成網(wǎng)站都包含幾個(gè)簡單的輔助程序元素,如按鈕、文本框和DIV對象。盡管這意味著這個(gè)模型受限于將這些少數(shù)元素作為它的輸出內(nèi)容,但是這些元素可通過選擇生成網(wǎng)絡(luò)來修改和擴(kuò)展。這種方法應(yīng)該很容易地推廣到更大的元素詞匯表。

          • 每個(gè)樣本的源代碼都是由領(lǐng)域?qū)S谜Z言(DSL)的令牌組成,這是該論文作者為該任務(wù)所創(chuàng)建的。每個(gè)令牌對應(yīng)于HTML和CSS的一個(gè)片段,且加入編譯器把DSL轉(zhuǎn)換為運(yùn)行的HTML代碼。

          彩色網(wǎng)站圖像變手繪圖

          為了修改我的任務(wù)數(shù)據(jù)集,我要讓網(wǎng)站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張圖像進(jìn)行修改,包括灰度轉(zhuǎn)換和輪廓檢測。

          最終,我決定直接修改原始網(wǎng)站的CSS樣式表,通過執(zhí)行以下操作:

          1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對象的邊緣;

          2. 模仿繪制的草圖來調(diào)整邊框的粗細(xì),并添加陰影;

          3. 將原有字體更改為類似手寫的字體;

          最終實(shí)現(xiàn)的流程中還增加了一個(gè)步驟,通過添加傾斜、移動和旋轉(zhuǎn)來實(shí)現(xiàn)圖像增強(qiáng),來模擬實(shí)際繪制草圖中的變化。

          使用圖像標(biāo)注模型架構(gòu)

          現(xiàn)在,我已經(jīng)處理好數(shù)據(jù)集,接下來是構(gòu)建模型。

          我利用了圖像標(biāo)注中使用的模型架構(gòu),該架構(gòu)由三個(gè)主要部分組成:

          1. 一種使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)的計(jì)算機(jī)視覺模型,從源圖像提取圖像特征;

          2. 一種包含門控單元GRU的語言模型,對源代碼令牌序列進(jìn)行編碼;

          3. 一個(gè)解碼器模型,也屬于GRU單元,把前兩個(gè)步驟的輸出作為輸入,并預(yù)測序列中的下一個(gè)令牌。

          以令牌序列為輸入來訓(xùn)練模型

          為了訓(xùn)練模型,我將源代碼拆分為令牌序列。模型的輸入為單個(gè)部分序列及它的源圖像,其標(biāo)簽是文本中的下一個(gè)令牌。該模型使用交叉熵函數(shù)作為損失函數(shù),將模型的下個(gè)預(yù)測令牌與實(shí)際的下個(gè)令牌進(jìn)行比較。

          在模型從頭開始生成代碼的過程中,該推理方式稍有不同。圖像仍然通過CNN網(wǎng)絡(luò)進(jìn)行處理,但文本處理開始時(shí)僅采用一個(gè)啟動序列。在每個(gè)步驟中,模型對序列中輸出的下個(gè)預(yù)測令牌將會添加到當(dāng)前輸入序列,并作為新的輸入序列送到模型中;重復(fù)此操作直到模型的預(yù)測令牌為,或該過程達(dá)到每個(gè)文本中令牌數(shù)目的預(yù)定義值。

          當(dāng)模型生成一組預(yù)測令牌后,編譯器就會將DSL令牌轉(zhuǎn)換為HTML代碼,這些HTML代碼可以在任何瀏覽器中運(yùn)行。

          用BLEU分?jǐn)?shù)評估模型

          我決定使用BLEU分?jǐn)?shù)來評估模型。這是機(jī)器翻譯任務(wù)中常用的一種度量標(biāo)準(zhǔn),通過在給定相同輸入的情況下,衡量機(jī)器生成的文本與人類可能產(chǎn)生內(nèi)容的近似程度。

          實(shí)際上,BLEU通過比較生成文本和參考文本的N元序列,以創(chuàng)建修改后的準(zhǔn)確版本。它非常適用于這個(gè)項(xiàng)目,因?yàn)樗鼤绊懮蒆TML代碼中的實(shí)際元素,以及它們之間的相互關(guān)系。

          最棒的是,我還可以通過檢查生成的網(wǎng)站來比較當(dāng)前的實(shí)際BLEU分?jǐn)?shù)。

          觀察BLEU分?jǐn)?shù)

          當(dāng)BLEU分?jǐn)?shù)為1.0時(shí),則說明給定源圖像后該模型能在正確位置設(shè)置合適的元素,而較低的BLEU分?jǐn)?shù)這說明模型預(yù)測了錯(cuò)誤元素或是把它們放在相對不合適的位置。我們最終模型在評估數(shù)據(jù)集上的BLEU分?jǐn)?shù)為0.76。

          福利:定制網(wǎng)頁風(fēng)格

          后來,我還想到,由于該模型只生成當(dāng)前頁面的框架,即文本的令牌,因此我可以在編譯過程中添加一個(gè)定制的CSS層,并立刻得到不同風(fēng)格的生成網(wǎng)站。

          一個(gè)手繪圖生成多種風(fēng)格的網(wǎng)頁

          把風(fēng)格定制和模型生成兩個(gè)過程分開,在使用模型時(shí)帶來了很多好處:

          1.如果想要將SketchCode模型應(yīng)用到自己公司的產(chǎn)品中,前端工程師可以直接使用該模型,只需更改一個(gè)CSS文件來匹配該公司的網(wǎng)頁設(shè)計(jì)風(fēng)格;

          2. 該模型內(nèi)置的可擴(kuò)展性,即通過單一源圖像,模型可以迅速編譯出多種不同的預(yù)定義風(fēng)格,因此用戶可以設(shè)想出多種可能的網(wǎng)站風(fēng)格,并在瀏覽器中瀏覽這些生成網(wǎng)頁。

          總結(jié)和展望

          受到圖像標(biāo)注研究的啟發(fā),SketchCode模型能夠在幾秒鐘內(nèi)將手繪網(wǎng)站線框圖轉(zhuǎn)換為可用的HTML網(wǎng)站。

          但是,該模型還存在一些問題,這也是我接下來可能的工作方向:

          1. 由于這個(gè)模型只使用了16個(gè)元素進(jìn)行訓(xùn)練,所以它不能預(yù)測這些數(shù)據(jù)以外的令牌。下一步方向可能是使用更多元素來生成更多的網(wǎng)站樣本,包括網(wǎng)站圖片,下拉菜單和窗體,可參考啟動程序組件(https://getbootstrap.com/docs/4.0/components/buttons/)來獲得思路;

          2. 在實(shí)際網(wǎng)站構(gòu)建中,存在很多變化。創(chuàng)建一個(gè)能更好反映這種變化的訓(xùn)練集,是提高生成效果的一種好方法,可以通過獲取更多網(wǎng)站的HTML/CSS代碼以及內(nèi)容截圖來提高;

          3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個(gè)問題的一種好方法是使用生成對抗網(wǎng)絡(luò)GAN來創(chuàng)建更逼真的繪制網(wǎng)站圖像。

          相關(guān)地址

          代碼:https://github.com/ashnkumar/sketch-code

          原文:https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82

          — 完 —

          誠摯招聘

          量子位正在招募編輯/記者,工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們!相關(guān)細(xì)節(jié),請?jiān)诹孔游还娞?QbitAI)對話界面,回復(fù)“招聘”兩個(gè)字。

          量子位 QbitAI · 頭條號簽約作者

          ?'?' ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)

          雙引號

          在js代碼中

          在js中單、雙引號引起來的是字符串,如果我們要在字符串中使用單、雙引號,需要反斜杠進(jìn)行轉(zhuǎn)義

          let str='user\'s name';
          // or
          let str=" user's name";
          // or
          let str="she said:\"...\".";
          

          如果在字符串中輸出反斜杠,仍然是用反斜杠轉(zhuǎn)義,即2個(gè)反斜杠輸出1個(gè)反斜杠

          在html代碼中

          html標(biāo)簽中,屬性值通常用雙引號引起來,也可以使用單引號或不用引號。

          <input name=user />
          <input name="user" />
          <input name='user' />
          

          這3種寫法都正確,不過通常我們是選擇用雙引號引起來。

          如果我們要在屬性值中使用單、雙綽號,我們不能直接寫成下面這樣

          <input name=user'name />
          <input name="user"name" />
          <input name='user'name' />
          

          這些全部是錯(cuò)誤的。我們要像在js中對單、雙引號轉(zhuǎn)義一樣,對屬性中的單、雙引號轉(zhuǎn)義

          在html中輸出預(yù)留符號,可以使用字符實(shí)體轉(zhuǎn)義的形式,這里有簡單介紹:http://www.w3school.com.cn/html/html_entities.asp。即想輸出一個(gè)雙引號可以使用"的形式,

          <input name="user"name" />
          

          除此之外,html還支持十進(jìn)制與十六進(jìn)制編碼的形式輸出字符,如我們知道字符a的ascii碼的十進(jìn)制是97 十六進(jìn)制是61

          所以我們在頁面body中輸出一個(gè)字符a,有以下3種形式

          <body>
           a<!--直接輸出-->
           a<!--十進(jìn)制輸出-->
           a<!--十六進(jìn)制輸出-->
          </body>
          

          同樣,單雙引號也有十進(jìn)制(單:39,雙:34)與十六進(jìn)制(單:27,雙:22),所以我們在屬性中輸出一個(gè)單引號有2種選擇,十進(jìn)制與十六進(jìn)制

          <input name='user'name' /><!--十進(jìn)制-->
          <input name='user'name' /><!--十六進(jìn)制-->
          

          而輸出一個(gè)雙引號則有3種選擇

          <input name="user"name" /><!--實(shí)體-->
          <input name="user"name" /><!--十進(jìn)制-->
          <input name="user"name" /><!--十六進(jìn)制-->
          

          當(dāng)js代碼遇上實(shí)體編碼

          我們可以通過dom節(jié)點(diǎn)提供的事件寫上調(diào)用js的代碼,如點(diǎn)擊body彈出hello這個(gè)字符串,我們可以寫成

          <body onclick="alert('hello')">
          click here
          </body>
          

          如果我們的需求是就彈出一個(gè)雙引號呢?

          根據(jù)前述規(guī)則,我們要寫成:

          <body onclick="alert('"')"><!--這里用十進(jìn)制或十六進(jìn)制都可以-->
          click here
          </body>
          

          當(dāng)然,alert里的單引號也可以使用十進(jìn)制或十六進(jìn)制編碼

          <body onclick="alert("'")"><!--"單引號  '雙引號-->
          click here
          </body>
          

          這樣也是可以的。

          是不是有點(diǎn)xss的感覺?

          如果我們把彈雙引號的需求改成單引號呢?

          <body onclick="alert(''')"><!--這樣html中是合法的,但js中并不合法,因?yàn)樵趈s中,中間的單引號并沒有轉(zhuǎn)義-->
          click here
          </body>
          

          如果我們用十進(jìn)制或十六進(jìn)制編碼呢?

          <body onclick="alert('"')"><!--這樣可以嗎-->
          click here
          </body>
          

          這樣仍然是不可以的

          我們要對js字符串中的單引號進(jìn)行轉(zhuǎn)義,如

          <body onclick="alert('\'')"><!--轉(zhuǎn)義后可正確彈出-->
          click here
          </body>
          

          <body onclick="alert('\"')"><!--轉(zhuǎn)義后可正確彈出-->
          click here
          </body>
          

          前面的onclick="alert('\'')"看起來還正常,后面的這個(gè)onclick="alert('\"')"就有點(diǎn)不直觀了。因?yàn)楹竺孢@個(gè)看上去反斜杠像在轉(zhuǎn)義&這1個(gè)字符,而&在js的字符串中并不需要轉(zhuǎn)義的。

          動態(tài)輸出

          如前述的alert彈出的消息,如果是一個(gè)變量控制,動態(tài)輸出呢?

          <body onclick="alert('${msg}')">
          click here
          </body>
          

          那我們這個(gè)msg字符串就得注意了,從這個(gè)示例來看,這個(gè)動態(tài)的msg即出現(xiàn)在屬性onclick中,也出現(xiàn)在alert的單引號開始的字符串中。

          我們要對msg中的雙引號轉(zhuǎn)成"或"或",并對msg中單引號的前面加上一個(gè)反斜杠\ ?

          題外話:對msg中的反斜杠需要做double處理,因?yàn)榉葱备茉趆tml屬性中并不是特殊的,但在js的字符串中是特殊的。因此正確的做法是對反斜杠及單引號前面各加上一個(gè)反斜杠

          然而,你并不能保證屬性是用雙引號,alert中的字符串用的是單引號,因?yàn)榭梢詫懗上旅孢@樣

          <body onclick='alert("${msg}")'>
          click here
          </body>
          

          ?

          這種情況我們要對msg中的單引號轉(zhuǎn)成'或',并對msg中雙引號前面加上一個(gè)反斜杠\

          題外話:同上

          看上去要根據(jù)不同的情況做不同的處理,其實(shí)也不需要

          我們只需要對單、雙引號前面加上一個(gè)反斜杠\然后再對單、雙引號實(shí)體編碼即可。

          在js中如果反斜杠后面跟的不需要反斜杠轉(zhuǎn)義的字符,那么這個(gè)反斜杠是被丟棄的,因此像

          var str="user\'s name";
          

          單引號前面多加一個(gè)反斜杠也不要緊的。

          自動化處理與識別提醒

          在magix項(xiàng)目中,由于magix-combine的支持,可識別出屬性中js代碼的部分,并自動化處理,如

          <button mx-click="showName({name:'<%=name%>'})">click here</button>
          

          name這個(gè)變量可包含任意的單、雙引號及反斜杠。工具自動識別并處理,開發(fā)者不需要做任何事情。

          而對于這樣的寫法:

          <button mx-click="showName({name:'"'})">click here</button>
          <!-- or-->
          <button mx-click="showName({name:'\"'})">click here</button>
          

          第一種寫法其實(shí)并不正確,但第二種情況看上去又怪怪的。magix-combine工具能識別出來是否需要添加反斜杠,并自動添加處理。

          第一種需要添加反斜杠,工具會自動加上,并提醒開發(fā)者這里的寫法是不正確的。

          第二種說明開發(fā)者意識到了問題所在,自己處理了,工具就不再處理也不再提醒開發(fā)者。

          小新 編譯自 Insight Data Blog

          量子位 出品 | 公眾號 QbitAI

          寫個(gè)網(wǎng)頁能有多麻煩?在大多數(shù)公司里,這項(xiàng)工作分為三步:

          1. 產(chǎn)品經(jīng)理完成用戶調(diào)研任務(wù)后,列出一系列技術(shù)要求;

          2. 設(shè)計(jì)師根據(jù)這些要求來設(shè)計(jì)低保真原型,逐漸修改得到高保真原型和UI設(shè)計(jì)圖;

          3. 工程師將這些設(shè)計(jì)圖實(shí)現(xiàn)為代碼,最終變成用戶使用的產(chǎn)品。

          這么多環(huán)節(jié),任何地方出一點(diǎn)問題,都會拉長開發(fā)周期。因此,不少公司,比如Airbnb已經(jīng)開始用機(jī)器學(xué)習(xí)來提高這個(gè)過程的效率。

          Airbnb內(nèi)部的AI工具,從圖紙到代碼一步到位

          看起來很美好,但Airbnb還沒公開該模型中端到端訓(xùn)練的細(xì)節(jié),以及手工設(shè)計(jì)的圖像特征對該模型的貢獻(xiàn)度。這是該公司特有的閉源解決方案專利,可能不會進(jìn)行公開。

          好在,一個(gè)叫Ashwin Kumar的程序員創(chuàng)建了一個(gè)開源版本,讓開發(fā)者/設(shè)計(jì)師的工作變得更簡單。

          以下內(nèi)容翻譯自他的博客:

          理想上,這個(gè)模型可以根據(jù)網(wǎng)站設(shè)計(jì)的簡單手繪原型,很快地生成一個(gè)可用的HTML網(wǎng)站:

          SketchCode模型利用手繪線框圖來生成HTML網(wǎng)站

          事實(shí)上,上面例子就是利用訓(xùn)練好的模型在測試集上生成的一個(gè)實(shí)際網(wǎng)站,代碼請?jiān)L問:https://github.com/ashnkumar/sketch-code。

          從圖像標(biāo)注中獲取靈感

          目前要解決的問題屬于一種更廣泛的任務(wù),叫做程序綜合(program synthesis),即自動生成工作源代碼。盡管很多程序綜合研究通過自然語言規(guī)范或執(zhí)行追蹤法來生成代碼,但在當(dāng)前任務(wù)中,我會充分利用源圖像,即給出的手繪線框圖來展開工作。

          在機(jī)器學(xué)習(xí)中有一個(gè)十分熱門的研究領(lǐng)域,稱為圖像標(biāo)注(image caption),目的是構(gòu)建一種把圖像和文本連接在一起的模型,特別是用于生成源圖像內(nèi)容的描述。

          圖像標(biāo)注模型生成源圖像的文本描述

          我從一篇pix2code論文和另一個(gè)應(yīng)用這種方法的相關(guān)項(xiàng)目中獲得靈感,決定把我的任務(wù)按照圖像標(biāo)注方式來實(shí)現(xiàn),把繪制的網(wǎng)站線框圖作為輸入圖像,并將其相應(yīng)的HTML代碼作為其輸出內(nèi)容。

          注:上段提到的兩個(gè)參考項(xiàng)目分別是

          pix2code論文:https://arxiv.org/abs/1705.07962

          floydhub教程:https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org

          獲取合適的數(shù)據(jù)集

          確定圖像標(biāo)注方法后,理想中使用的訓(xùn)練數(shù)據(jù)集會包含成千上萬對手繪線框圖和對應(yīng)的HTML輸出代碼。但是,目前還沒有我想要的相關(guān)數(shù)據(jù)集,我只好為這個(gè)任務(wù)來創(chuàng)建數(shù)據(jù)集。

          最開始,我嘗試了pix2code論文給出的開源數(shù)據(jù)集,該數(shù)據(jù)集由1750張綜合生成網(wǎng)站的截圖及其相應(yīng)源代碼組成。

          pix2code數(shù)據(jù)集中的生成網(wǎng)站圖片和源代碼

          這是一個(gè)很好的數(shù)據(jù)集,有幾個(gè)有趣的地方:

          • 該數(shù)據(jù)集中的每個(gè)生成網(wǎng)站都包含幾個(gè)簡單的輔助程序元素,如按鈕、文本框和DIV對象。盡管這意味著這個(gè)模型受限于將這些少數(shù)元素作為它的輸出內(nèi)容,但是這些元素可通過選擇生成網(wǎng)絡(luò)來修改和擴(kuò)展。這種方法應(yīng)該很容易地推廣到更大的元素詞匯表。

          • 每個(gè)樣本的源代碼都是由領(lǐng)域?qū)S谜Z言(DSL)的令牌組成,這是該論文作者為該任務(wù)所創(chuàng)建的。每個(gè)令牌對應(yīng)于HTML和CSS的一個(gè)片段,且加入編譯器把DSL轉(zhuǎn)換為運(yùn)行的HTML代碼。

          彩色網(wǎng)站圖像變手繪圖

          為了修改我的任務(wù)數(shù)據(jù)集,我要讓網(wǎng)站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張圖像進(jìn)行修改,包括灰度轉(zhuǎn)換和輪廓檢測。

          最終,我決定直接修改原始網(wǎng)站的CSS樣式表,通過執(zhí)行以下操作:

          1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對象的邊緣;

          2. 模仿繪制的草圖來調(diào)整邊框的粗細(xì),并添加陰影;

          3. 將原有字體更改為類似手寫的字體;

          最終實(shí)現(xiàn)的流程中還增加了一個(gè)步驟,通過添加傾斜、移動和旋轉(zhuǎn)來實(shí)現(xiàn)圖像增強(qiáng),來模擬實(shí)際繪制草圖中的變化。

          使用圖像標(biāo)注模型架構(gòu)

          現(xiàn)在,我已經(jīng)處理好數(shù)據(jù)集,接下來是構(gòu)建模型。

          我利用了圖像標(biāo)注中使用的模型架構(gòu),該架構(gòu)由三個(gè)主要部分組成:

          1. 一種使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)的計(jì)算機(jī)視覺模型,從源圖像提取圖像特征;

          2. 一種包含門控單元GRU的語言模型,對源代碼令牌序列進(jìn)行編碼;

          3. 一個(gè)解碼器模型,也屬于GRU單元,把前兩個(gè)步驟的輸出作為輸入,并預(yù)測序列中的下一個(gè)令牌。

          以令牌序列為輸入來訓(xùn)練模型

          為了訓(xùn)練模型,我將源代碼拆分為令牌序列。模型的輸入為單個(gè)部分序列及它的源圖像,其標(biāo)簽是文本中的下一個(gè)令牌。該模型使用交叉熵函數(shù)作為損失函數(shù),將模型的下個(gè)預(yù)測令牌與實(shí)際的下個(gè)令牌進(jìn)行比較。

          在模型從頭開始生成代碼的過程中,該推理方式稍有不同。圖像仍然通過CNN網(wǎng)絡(luò)進(jìn)行處理,但文本處理開始時(shí)僅采用一個(gè)啟動序列。在每個(gè)步驟中,模型對序列中輸出的下個(gè)預(yù)測令牌將會添加到當(dāng)前輸入序列,并作為新的輸入序列送到模型中;重復(fù)此操作直到模型的預(yù)測令牌為,或該過程達(dá)到每個(gè)文本中令牌數(shù)目的預(yù)定義值。

          當(dāng)模型生成一組預(yù)測令牌后,編譯器就會將DSL令牌轉(zhuǎn)換為HTML代碼,這些HTML代碼可以在任何瀏覽器中運(yùn)行。

          用BLEU分?jǐn)?shù)評估模型

          我決定使用BLEU分?jǐn)?shù)來評估模型。這是機(jī)器翻譯任務(wù)中常用的一種度量標(biāo)準(zhǔn),通過在給定相同輸入的情況下,衡量機(jī)器生成的文本與人類可能產(chǎn)生內(nèi)容的近似程度。

          實(shí)際上,BLEU通過比較生成文本和參考文本的N元序列,以創(chuàng)建修改后的準(zhǔn)確版本。它非常適用于這個(gè)項(xiàng)目,因?yàn)樗鼤绊懮蒆TML代碼中的實(shí)際元素,以及它們之間的相互關(guān)系。

          最棒的是,我還可以通過檢查生成的網(wǎng)站來比較當(dāng)前的實(shí)際BLEU分?jǐn)?shù)。

          觀察BLEU分?jǐn)?shù)

          當(dāng)BLEU分?jǐn)?shù)為1.0時(shí),則說明給定源圖像后該模型能在正確位置設(shè)置合適的元素,而較低的BLEU分?jǐn)?shù)這說明模型預(yù)測了錯(cuò)誤元素或是把它們放在相對不合適的位置。我們最終模型在評估數(shù)據(jù)集上的BLEU分?jǐn)?shù)為0.76。

          福利:定制網(wǎng)頁風(fēng)格

          后來,我還想到,由于該模型只生成當(dāng)前頁面的框架,即文本的令牌,因此我可以在編譯過程中添加一個(gè)定制的CSS層,并立刻得到不同風(fēng)格的生成網(wǎng)站。

          一個(gè)手繪圖生成多種風(fēng)格的網(wǎng)頁

          把風(fēng)格定制和模型生成兩個(gè)過程分開,在使用模型時(shí)帶來了很多好處:

          1.如果想要將SketchCode模型應(yīng)用到自己公司的產(chǎn)品中,前端工程師可以直接使用該模型,只需更改一個(gè)CSS文件來匹配該公司的網(wǎng)頁設(shè)計(jì)風(fēng)格;

          2. 該模型內(nèi)置的可擴(kuò)展性,即通過單一源圖像,模型可以迅速編譯出多種不同的預(yù)定義風(fēng)格,因此用戶可以設(shè)想出多種可能的網(wǎng)站風(fēng)格,并在瀏覽器中瀏覽這些生成網(wǎng)頁。

          總結(jié)和展望

          受到圖像標(biāo)注研究的啟發(fā),SketchCode模型能夠在幾秒鐘內(nèi)將手繪網(wǎng)站線框圖轉(zhuǎn)換為可用的HTML網(wǎng)站。

          但是,該模型還存在一些問題,這也是我接下來可能的工作方向:

          1. 由于這個(gè)模型只使用了16個(gè)元素進(jìn)行訓(xùn)練,所以它不能預(yù)測這些數(shù)據(jù)以外的令牌。下一步方向可能是使用更多元素來生成更多的網(wǎng)站樣本,包括網(wǎng)站圖片,下拉菜單和窗體,可參考啟動程序組件(https://getbootstrap.com/docs/4.0/components/buttons/)來獲得思路;

          2. 在實(shí)際網(wǎng)站構(gòu)建中,存在很多變化。創(chuàng)建一個(gè)能更好反映這種變化的訓(xùn)練集,是提高生成效果的一種好方法,可以通過獲取更多網(wǎng)站的HTML/CSS代碼以及內(nèi)容截圖來提高;

          3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個(gè)問題的一種好方法是使用生成對抗網(wǎng)絡(luò)GAN來創(chuàng)建更逼真的繪制網(wǎng)站圖像。

          相關(guān)地址

          代碼:https://github.com/ashnkumar/sketch-code

          原文:https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82

          — 完 —

          誠摯招聘

          量子位正在招募編輯/記者,工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們!相關(guān)細(xì)節(jié),請?jiān)诹孔游还娞?QbitAI)對話界面,回復(fù)“招聘”兩個(gè)字。

          量子位 QbitAI · 頭條號簽約作者

          ?'?' ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)


          主站蜘蛛池模板: 亚洲午夜精品一区二区公牛电影院| 国内精品一区二区三区最新| 久久国产精品一区免费下载| 精品人妻无码一区二区三区蜜桃一 | 亚洲免费视频一区二区三区| 精品人妻AV一区二区三区| 污污内射在线观看一区二区少妇| 久久精品无码一区二区WWW| 日韩精品一区二区三区老鸦窝| 久久国产精品免费一区二区三区| 日韩一区二区超清视频| 人妻AV中文字幕一区二区三区 | 亚洲AV成人一区二区三区AV| 男人的天堂精品国产一区| 精品久久久久久中文字幕一区| 精品一区二区三区免费毛片爱 | 中文字幕精品一区| 变态拳头交视频一区二区 | 视频一区精品自拍| 精品久久久久中文字幕一区| 精品中文字幕一区二区三区四区| 国产视频一区二区| 亚洲av午夜精品一区二区三区| 亚洲一区无码精品色| 国产乱码伦精品一区二区三区麻豆| 精品视频午夜一区二区| 成人乱码一区二区三区av| 国产a∨精品一区二区三区不卡 | 无码人妻精品一区二区蜜桃网站 | 日本一区二区视频| 国产成人精品一区二三区在线观看| 日韩国产精品无码一区二区三区 | 无码aⅴ精品一区二区三区| 日本片免费观看一区二区| 亚洲宅男精品一区在线观看| 亚洲综合无码一区二区痴汉| 亚洲一区二区三区写真| 无码少妇A片一区二区三区| 在线观看一区二区精品视频| 人妻内射一区二区在线视频| 岛国无码av不卡一区二区|