整合營銷服務商
電腦端+手機端+微信端=數據同步管理
免費咨詢熱線：
電腦端+手機端+微信端=數據同步管理
免費咨詢熱線：
小新 編譯自 Insight Data Blog
量子位 出品 | 公眾號 QbitAI
寫個網頁能有多麻煩？在大多數公司里，這項工作分為三步：
1. 產品經理完成用戶調研任務后，列出一系列技術要求；
2. 設計師根據這些要求來設計低保真原型，逐漸修改得到高保真原型和UI設計圖；
3. 工程師將這些設計圖實現為代碼，最終變成用戶使用的產品。
這么多環節，任何地方出一點問題，都會拉長開發周期。因此，不少公司，比如Airbnb已經開始用機器學習來提高這個過程的效率。
△ Airbnb內部的AI工具，從圖紙到代碼一步到位
看起來很美好，但Airbnb還沒公開該模型中端到端訓練的細節，以及手工設計的圖像特征對該模型的貢獻度。這是該公司特有的閉源解決方案專利，可能不會進行公開。
好在，一個叫Ashwin Kumar的程序員創建了一個開源版本，讓開發者/設計師的工作變得更簡單。
以下內容翻譯自他的博客：
理想上，這個模型可以根據網站設計的簡單手繪原型，很快地生成一個可用的HTML網站：
△ SketchCode模型利用手繪線框圖來生成HTML網站
事實上，上面例子就是利用訓練好的模型在測試集上生成的一個實際網站，代碼請訪問：https://github.com/ashnkumar/sketch-code。
目前要解決的問題屬于一種更廣泛的任務，叫做程序綜合（program synthesis），即自動生成工作源代碼。盡管很多程序綜合研究通過自然語言規范或執行追蹤法來生成代碼，但在當前任務中，我會充分利用源圖像，即給出的手繪線框圖來展開工作。
在機器學習中有一個十分熱門的研究領域，稱為圖像標注（image caption），目的是構建一種把圖像和文本連接在一起的模型，特別是用于生成源圖像內容的描述。
△ 圖像標注模型生成源圖像的文本描述
我從一篇pix2code論文和另一個應用這種方法的相關項目中獲得靈感，決定把我的任務按照圖像標注方式來實現，把繪制的網站線框圖作為輸入圖像，并將其相應的HTML代碼作為其輸出內容。
注：上段提到的兩個參考項目分別是
pix2code論文：https://arxiv.org/abs/1705.07962
floydhub教程：https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org
確定圖像標注方法后，理想中使用的訓練數據集會包含成千上萬對手繪線框圖和對應的HTML輸出代碼。但是，目前還沒有我想要的相關數據集，我只好為這個任務來創建數據集。
最開始，我嘗試了pix2code論文給出的開源數據集，該數據集由1750張綜合生成網站的截圖及其相應源代碼組成。
△ pix2code數據集中的生成網站圖片和源代碼
這是一個很好的數據集，有幾個有趣的地方：
該數據集中的每個生成網站都包含幾個簡單的輔助程序元素，如按鈕、文本框和DIV對象。盡管這意味著這個模型受限于將這些少數元素作為它的輸出內容，但是這些元素可通過選擇生成網絡來修改和擴展。這種方法應該很容易地推廣到更大的元素詞匯表。
每個樣本的源代碼都是由領域專用語言（DSL）的令牌組成，這是該論文作者為該任務所創建的。每個令牌對應于HTML和CSS的一個片段，且加入編譯器把DSL轉換為運行的HTML代碼。
為了修改我的任務數據集，我要讓網站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張圖像進行修改，包括灰度轉換和輪廓檢測。
最終，我決定直接修改原始網站的CSS樣式表，通過執行以下操作：
1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對象的邊緣；
2. 模仿繪制的草圖來調整邊框的粗細，并添加陰影；
3. 將原有字體更改為類似手寫的字體；
最終實現的流程中還增加了一個步驟，通過添加傾斜、移動和旋轉來實現圖像增強，來模擬實際繪制草圖中的變化。
現在，我已經處理好數據集，接下來是構建模型。
我利用了圖像標注中使用的模型架構，該架構由三個主要部分組成：
1. 一種使用卷積神經網絡（CNN）的計算機視覺模型，從源圖像提取圖像特征；
2. 一種包含門控單元GRU的語言模型，對源代碼令牌序列進行編碼；
3. 一個解碼器模型，也屬于GRU單元，把前兩個步驟的輸出作為輸入，并預測序列中的下一個令牌。
△ 以令牌序列為輸入來訓練模型
為了訓練模型，我將源代碼拆分為令牌序列。模型的輸入為單個部分序列及它的源圖像，其標簽是文本中的下一個令牌。該模型使用交叉熵函數作為損失函數，將模型的下個預測令牌與實際的下個令牌進行比較。
在模型從頭開始生成代碼的過程中，該推理方式稍有不同。圖像仍然通過CNN網絡進行處理，但文本處理開始時僅采用一個啟動序列。在每個步驟中，模型對序列中輸出的下個預測令牌將會添加到當前輸入序列，并作為新的輸入序列送到模型中；重復此操作直到模型的預測令牌為，或該過程達到每個文本中令牌數目的預定義值。
當模型生成一組預測令牌后，編譯器就會將DSL令牌轉換為HTML代碼，這些HTML代碼可以在任何瀏覽器中運行。
我決定使用BLEU分數來評估模型。這是機器翻譯任務中常用的一種度量標準，通過在給定相同輸入的情況下，衡量機器生成的文本與人類可能產生內容的近似程度。
實際上，BLEU通過比較生成文本和參考文本的N元序列，以創建修改后的準確版本。它非常適用于這個項目，因為它會影響生成HTML代碼中的實際元素，以及它們之間的相互關系。
最棒的是，我還可以通過檢查生成的網站來比較當前的實際BLEU分數。
△ 觀察BLEU分數
當BLEU分數為1.0時，則說明給定源圖像后該模型能在正確位置設置合適的元素，而較低的BLEU分數這說明模型預測了錯誤元素或是把它們放在相對不合適的位置。我們最終模型在評估數據集上的BLEU分數為0.76。
后來，我還想到，由于該模型只生成當前頁面的框架，即文本的令牌，因此我可以在編譯過程中添加一個定制的CSS層，并立刻得到不同風格的生成網站。
△ 一個手繪圖生成多種風格的網頁
把風格定制和模型生成兩個過程分開，在使用模型時帶來了很多好處：
1.如果想要將SketchCode模型應用到自己公司的產品中，前端工程師可以直接使用該模型，只需更改一個CSS文件來匹配該公司的網頁設計風格；
2. 該模型內置的可擴展性，即通過單一源圖像，模型可以迅速編譯出多種不同的預定義風格，因此用戶可以設想出多種可能的網站風格，并在瀏覽器中瀏覽這些生成網頁。
受到圖像標注研究的啟發，SketchCode模型能夠在幾秒鐘內將手繪網站線框圖轉換為可用的HTML網站。
但是，該模型還存在一些問題，這也是我接下來可能的工作方向：
1. 由于這個模型只使用了16個元素進行訓練，所以它不能預測這些數據以外的令牌。下一步方向可能是使用更多元素來生成更多的網站樣本，包括網站圖片，下拉菜單和窗體，可參考啟動程序組件（https://getbootstrap.com/docs/4.0/components/buttons/）來獲得思路；
2. 在實際網站構建中，存在很多變化。創建一個能更好反映這種變化的訓練集，是提高生成效果的一種好方法，可以通過獲取更多網站的HTML/CSS代碼以及內容截圖來提高；
3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個問題的一種好方法是使用生成對抗網絡GAN來創建更逼真的繪制網站圖像。
代碼：https://github.com/ashnkumar/sketch-code
原文：https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
?'?' ? 追蹤AI技術和產品新動態
雙引號
在js代碼中
在js中單、雙引號引起來的是字符串，如果我們要在字符串中使用單、雙引號，需要反斜杠進行轉義
let str='user\'s name'; // or let str=" user's name"; // or let str="she said:\"...\".";
如果在字符串中輸出反斜杠，仍然是用反斜杠轉義，即2個反斜杠輸出1個反斜杠
在html代碼中
html標簽中，屬性值通常用雙引號引起來，也可以使用單引號或不用引號。
<input name=user /> <input name="user" /> <input name='user' />
這3種寫法都正確，不過通常我們是選擇用雙引號引起來。
如果我們要在屬性值中使用單、雙綽號，我們不能直接寫成下面這樣
<input name=user'name /> <input name="user"name" /> <input name='user'name' />
這些全部是錯誤的。我們要像在js中對單、雙引號轉義一樣，對屬性中的單、雙引號轉義
在html中輸出預留符號，可以使用字符實體轉義的形式，這里有簡單介紹：http://www.w3school.com.cn/html/html_entities.asp。即想輸出一個雙引號可以使用"的形式，
<input name="user"name" />
除此之外，html還支持十進制與十六進制編碼的形式輸出字符，如我們知道字符a的ascii碼的十進制是97 十六進制是61
所以我們在頁面body中輸出一個字符a，有以下3種形式
<body> a<!--直接輸出--> a<!--十進制輸出--> a<!--十六進制輸出--> </body>
同樣，單雙引號也有十進制(單：39，雙：34)與十六進制（單：27，雙：22），所以我們在屬性中輸出一個單引號有2種選擇，十進制與十六進制
<input name='user'name' /><!--十進制--> <input name='user'name' /><!--十六進制-->
而輸出一個雙引號則有3種選擇
<input name="user"name" /><!--實體--> <input name="user"name" /><!--十進制--> <input name="user"name" /><!--十六進制-->
當js代碼遇上實體編碼
我們可以通過dom節點提供的事件寫上調用js的代碼，如點擊body彈出hello這個字符串，我們可以寫成
<body onclick="alert('hello')">
click here
</body>
如果我們的需求是就彈出一個雙引號呢？
根據前述規則，我們要寫成：
<body onclick="alert('"')"><!--這里用十進制或十六進制都可以-->
click here
</body>
當然，alert里的單引號也可以使用十進制或十六進制編碼
<body onclick="alert("'")"><!--"單引號 '雙引號-->
click here
</body>
這樣也是可以的。
是不是有點xss的感覺?
如果我們把彈雙引號的需求改成單引號呢？
<body onclick="alert(''')"><!--這樣html中是合法的，但js中并不合法，因為在js中，中間的單引號并沒有轉義-->
click here
</body>
如果我們用十進制或十六進制編碼呢？
<body onclick="alert('"')"><!--這樣可以嗎-->
click here
</body>
這樣仍然是不可以的
我們要對js字符串中的單引號進行轉義，如
<body onclick="alert('\'')"><!--轉義后可正確彈出-->
click here
</body>
或
<body onclick="alert('\"')"><!--轉義后可正確彈出-->
click here
</body>
前面的onclick="alert('\'')"看起來還正常，后面的這個onclick="alert('\"')"就有點不直觀了。因為后面這個看上去反斜杠像在轉義&這1個字符，而&在js的字符串中并不需要轉義的。
動態輸出
如前述的alert彈出的消息，如果是一個變量控制，動態輸出呢？
<body onclick="alert('${msg}')">
click here
</body>
那我們這個msg字符串就得注意了，從這個示例來看，這個動態的msg即出現在屬性onclick中，也出現在alert的單引號開始的字符串中。
我們要對msg中的雙引號轉成"或"或"，并對msg中單引號的前面加上一個反斜杠\ ?
題外話：對msg中的反斜杠需要做double處理，因為反斜杠在html屬性中并不是特殊的，但在js的字符串中是特殊的。因此正確的做法是對反斜杠及單引號前面各加上一個反斜杠
然而，你并不能保證屬性是用雙引號，alert中的字符串用的是單引號，因為可以寫成下面這樣
<body onclick='alert("${msg}")'>
click here
</body>
?
這種情況我們要對msg中的單引號轉成'或'，并對msg中雙引號前面加上一個反斜杠\
題外話：同上
看上去要根據不同的情況做不同的處理，其實也不需要
我們只需要對單、雙引號前面加上一個反斜杠\然后再對單、雙引號實體編碼即可。
在js中如果反斜杠后面跟的不需要反斜杠轉義的字符，那么這個反斜杠是被丟棄的，因此像
var str="user\'s name";
單引號前面多加一個反斜杠也不要緊的。
自動化處理與識別提醒
在magix項目中，由于magix-combine的支持，可識別出屬性中js代碼的部分，并自動化處理，如
<button mx-click="showName({name:'<%=name%>'})">click here</button>
name這個變量可包含任意的單、雙引號及反斜杠。工具自動識別并處理，開發者不需要做任何事情。
而對于這樣的寫法：
<button mx-click="showName({name:'"'})">click here</button>
<!-- or-->
<button mx-click="showName({name:'\"'})">click here</button>
第一種寫法其實并不正確，但第二種情況看上去又怪怪的。magix-combine工具能識別出來是否需要添加反斜杠，并自動添加處理。
第一種需要添加反斜杠，工具會自動加上，并提醒開發者這里的寫法是不正確的。
第二種說明開發者意識到了問題所在，自己處理了，工具就不再處理也不再提醒開發者。
小新 編譯自 Insight Data Blog
量子位 出品 | 公眾號 QbitAI
寫個網頁能有多麻煩？在大多數公司里，這項工作分為三步：
1. 產品經理完成用戶調研任務后，列出一系列技術要求；
2. 設計師根據這些要求來設計低保真原型，逐漸修改得到高保真原型和UI設計圖；
3. 工程師將這些設計圖實現為代碼，最終變成用戶使用的產品。
這么多環節，任何地方出一點問題，都會拉長開發周期。因此，不少公司，比如Airbnb已經開始用機器學習來提高這個過程的效率。
△ Airbnb內部的AI工具，從圖紙到代碼一步到位
看起來很美好，但Airbnb還沒公開該模型中端到端訓練的細節，以及手工設計的圖像特征對該模型的貢獻度。這是該公司特有的閉源解決方案專利，可能不會進行公開。
好在，一個叫Ashwin Kumar的程序員創建了一個開源版本，讓開發者/設計師的工作變得更簡單。
以下內容翻譯自他的博客：
理想上，這個模型可以根據網站設計的簡單手繪原型，很快地生成一個可用的HTML網站：
△ SketchCode模型利用手繪線框圖來生成HTML網站
事實上，上面例子就是利用訓練好的模型在測試集上生成的一個實際網站，代碼請訪問：https://github.com/ashnkumar/sketch-code。
目前要解決的問題屬于一種更廣泛的任務，叫做程序綜合（program synthesis），即自動生成工作源代碼。盡管很多程序綜合研究通過自然語言規范或執行追蹤法來生成代碼，但在當前任務中，我會充分利用源圖像，即給出的手繪線框圖來展開工作。
在機器學習中有一個十分熱門的研究領域，稱為圖像標注（image caption），目的是構建一種把圖像和文本連接在一起的模型，特別是用于生成源圖像內容的描述。
△ 圖像標注模型生成源圖像的文本描述
我從一篇pix2code論文和另一個應用這種方法的相關項目中獲得靈感，決定把我的任務按照圖像標注方式來實現，把繪制的網站線框圖作為輸入圖像，并將其相應的HTML代碼作為其輸出內容。
注：上段提到的兩個參考項目分別是
pix2code論文：https://arxiv.org/abs/1705.07962
floydhub教程：https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org
確定圖像標注方法后，理想中使用的訓練數據集會包含成千上萬對手繪線框圖和對應的HTML輸出代碼。但是，目前還沒有我想要的相關數據集，我只好為這個任務來創建數據集。
最開始，我嘗試了pix2code論文給出的開源數據集，該數據集由1750張綜合生成網站的截圖及其相應源代碼組成。
△ pix2code數據集中的生成網站圖片和源代碼
這是一個很好的數據集，有幾個有趣的地方：
該數據集中的每個生成網站都包含幾個簡單的輔助程序元素，如按鈕、文本框和DIV對象。盡管這意味著這個模型受限于將這些少數元素作為它的輸出內容，但是這些元素可通過選擇生成網絡來修改和擴展。這種方法應該很容易地推廣到更大的元素詞匯表。
每個樣本的源代碼都是由領域專用語言（DSL）的令牌組成，這是該論文作者為該任務所創建的。每個令牌對應于HTML和CSS的一個片段，且加入編譯器把DSL轉換為運行的HTML代碼。
為了修改我的任務數據集，我要讓網站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張圖像進行修改，包括灰度轉換和輪廓檢測。
最終，我決定直接修改原始網站的CSS樣式表，通過執行以下操作：
1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對象的邊緣；
2. 模仿繪制的草圖來調整邊框的粗細，并添加陰影；
3. 將原有字體更改為類似手寫的字體；
最終實現的流程中還增加了一個步驟，通過添加傾斜、移動和旋轉來實現圖像增強，來模擬實際繪制草圖中的變化。
現在，我已經處理好數據集，接下來是構建模型。
我利用了圖像標注中使用的模型架構，該架構由三個主要部分組成：
1. 一種使用卷積神經網絡（CNN）的計算機視覺模型，從源圖像提取圖像特征；
2. 一種包含門控單元GRU的語言模型，對源代碼令牌序列進行編碼；
3. 一個解碼器模型，也屬于GRU單元，把前兩個步驟的輸出作為輸入，并預測序列中的下一個令牌。
△ 以令牌序列為輸入來訓練模型
為了訓練模型，我將源代碼拆分為令牌序列。模型的輸入為單個部分序列及它的源圖像，其標簽是文本中的下一個令牌。該模型使用交叉熵函數作為損失函數，將模型的下個預測令牌與實際的下個令牌進行比較。
在模型從頭開始生成代碼的過程中，該推理方式稍有不同。圖像仍然通過CNN網絡進行處理，但文本處理開始時僅采用一個啟動序列。在每個步驟中，模型對序列中輸出的下個預測令牌將會添加到當前輸入序列，并作為新的輸入序列送到模型中；重復此操作直到模型的預測令牌為，或該過程達到每個文本中令牌數目的預定義值。
當模型生成一組預測令牌后，編譯器就會將DSL令牌轉換為HTML代碼，這些HTML代碼可以在任何瀏覽器中運行。
我決定使用BLEU分數來評估模型。這是機器翻譯任務中常用的一種度量標準，通過在給定相同輸入的情況下，衡量機器生成的文本與人類可能產生內容的近似程度。
實際上，BLEU通過比較生成文本和參考文本的N元序列，以創建修改后的準確版本。它非常適用于這個項目，因為它會影響生成HTML代碼中的實際元素，以及它們之間的相互關系。
最棒的是，我還可以通過檢查生成的網站來比較當前的實際BLEU分數。
△ 觀察BLEU分數
當BLEU分數為1.0時，則說明給定源圖像后該模型能在正確位置設置合適的元素，而較低的BLEU分數這說明模型預測了錯誤元素或是把它們放在相對不合適的位置。我們最終模型在評估數據集上的BLEU分數為0.76。
后來，我還想到，由于該模型只生成當前頁面的框架，即文本的令牌，因此我可以在編譯過程中添加一個定制的CSS層，并立刻得到不同風格的生成網站。
△ 一個手繪圖生成多種風格的網頁
把風格定制和模型生成兩個過程分開，在使用模型時帶來了很多好處：
1.如果想要將SketchCode模型應用到自己公司的產品中，前端工程師可以直接使用該模型，只需更改一個CSS文件來匹配該公司的網頁設計風格；
2. 該模型內置的可擴展性，即通過單一源圖像，模型可以迅速編譯出多種不同的預定義風格，因此用戶可以設想出多種可能的網站風格，并在瀏覽器中瀏覽這些生成網頁。
受到圖像標注研究的啟發，SketchCode模型能夠在幾秒鐘內將手繪網站線框圖轉換為可用的HTML網站。
但是，該模型還存在一些問題，這也是我接下來可能的工作方向：
1. 由于這個模型只使用了16個元素進行訓練，所以它不能預測這些數據以外的令牌。下一步方向可能是使用更多元素來生成更多的網站樣本，包括網站圖片，下拉菜單和窗體，可參考啟動程序組件（https://getbootstrap.com/docs/4.0/components/buttons/）來獲得思路；
2. 在實際網站構建中，存在很多變化。創建一個能更好反映這種變化的訓練集，是提高生成效果的一種好方法，可以通過獲取更多網站的HTML/CSS代碼以及內容截圖來提高；
3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個問題的一種好方法是使用生成對抗網絡GAN來創建更逼真的繪制網站圖像。
代碼：https://github.com/ashnkumar/sketch-code
原文：https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
?'?' ? 追蹤AI技術和產品新動態
*請認真填寫需求信息，我們會在24小時內與您取得聯系。
