Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537 Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537
小新 編譯自 Insight Data Blog
量子位 出品 | 公眾號 QbitAI
寫個網(wǎng)頁能有多麻煩?在大多數(shù)公司里,這項工作分為三步:
1. 產(chǎn)品經(jīng)理完成用戶調(diào)研任務后,列出一系列技術(shù)要求;
2. 設計師根據(jù)這些要求來設計低保真原型,逐漸修改得到高保真原型和UI設計圖;
3. 工程師將這些設計圖實現(xiàn)為代碼,最終變成用戶使用的產(chǎn)品。
這么多環(huán)節(jié),任何地方出一點問題,都會拉長開發(fā)周期。因此,不少公司,比如Airbnb已經(jīng)開始用機器學習來提高這個過程的效率。
△ Airbnb內(nèi)部的AI工具,從圖紙到代碼一步到位
看起來很美好,但Airbnb還沒公開該模型中端到端訓練的細節(jié),以及手工設計的圖像特征對該模型的貢獻度。這是該公司特有的閉源解決方案專利,可能不會進行公開。
好在,一個叫Ashwin Kumar的程序員創(chuàng)建了一個開源版本,讓開發(fā)者/設計師的工作變得更簡單。
以下內(nèi)容翻譯自他的博客:
理想上,這個模型可以根據(jù)網(wǎng)站設計的簡單手繪原型,很快地生成一個可用的HTML網(wǎng)站:
△ SketchCode模型利用手繪線框圖來生成HTML網(wǎng)站
事實上,上面例子就是利用訓練好的模型在測試集上生成的一個實際網(wǎng)站,代碼請訪問:https://github.com/ashnkumar/sketch-code。
目前要解決的問題屬于一種更廣泛的任務,叫做程序綜合(program synthesis),即自動生成工作源代碼。盡管很多程序綜合研究通過自然語言規(guī)范或執(zhí)行追蹤法來生成代碼,但在當前任務中,我會充分利用源圖像,即給出的手繪線框圖來展開工作。
在機器學習中有一個十分熱門的研究領(lǐng)域,稱為圖像標注(image caption),目的是構(gòu)建一種把圖像和文本連接在一起的模型,特別是用于生成源圖像內(nèi)容的描述。
△ 圖像標注模型生成源圖像的文本描述
我從一篇pix2code論文和另一個應用這種方法的相關(guān)項目中獲得靈感,決定把我的任務按照圖像標注方式來實現(xiàn),把繪制的網(wǎng)站線框圖作為輸入圖像,并將其相應的HTML代碼作為其輸出內(nèi)容。
注:上段提到的兩個參考項目分別是
pix2code論文:https://arxiv.org/abs/1705.07962
floydhub教程:https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org
確定圖像標注方法后,理想中使用的訓練數(shù)據(jù)集會包含成千上萬對手繪線框圖和對應的HTML輸出代碼。但是,目前還沒有我想要的相關(guān)數(shù)據(jù)集,我只好為這個任務來創(chuàng)建數(shù)據(jù)集。
最開始,我嘗試了pix2code論文給出的開源數(shù)據(jù)集,該數(shù)據(jù)集由1750張綜合生成網(wǎng)站的截圖及其相應源代碼組成。
△ pix2code數(shù)據(jù)集中的生成網(wǎng)站圖片和源代碼
這是一個很好的數(shù)據(jù)集,有幾個有趣的地方:
該數(shù)據(jù)集中的每個生成網(wǎng)站都包含幾個簡單的輔助程序元素,如按鈕、文本框和DIV對象。盡管這意味著這個模型受限于將這些少數(shù)元素作為它的輸出內(nèi)容,但是這些元素可通過選擇生成網(wǎng)絡來修改和擴展。這種方法應該很容易地推廣到更大的元素詞匯表。
每個樣本的源代碼都是由領(lǐng)域?qū)S谜Z言(DSL)的令牌組成,這是該論文作者為該任務所創(chuàng)建的。每個令牌對應于HTML和CSS的一個片段,且加入編譯器把DSL轉(zhuǎn)換為運行的HTML代碼。
為了修改我的任務數(shù)據(jù)集,我要讓網(wǎng)站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張圖像進行修改,包括灰度轉(zhuǎn)換和輪廓檢測。
最終,我決定直接修改原始網(wǎng)站的CSS樣式表,通過執(zhí)行以下操作:
1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對象的邊緣;
2. 模仿繪制的草圖來調(diào)整邊框的粗細,并添加陰影;
3. 將原有字體更改為類似手寫的字體;
最終實現(xiàn)的流程中還增加了一個步驟,通過添加傾斜、移動和旋轉(zhuǎn)來實現(xiàn)圖像增強,來模擬實際繪制草圖中的變化。
現(xiàn)在,我已經(jīng)處理好數(shù)據(jù)集,接下來是構(gòu)建模型。
我利用了圖像標注中使用的模型架構(gòu),該架構(gòu)由三個主要部分組成:
1. 一種使用卷積神經(jīng)網(wǎng)絡(CNN)的計算機視覺模型,從源圖像提取圖像特征;
2. 一種包含門控單元GRU的語言模型,對源代碼令牌序列進行編碼;
3. 一個解碼器模型,也屬于GRU單元,把前兩個步驟的輸出作為輸入,并預測序列中的下一個令牌。
△ 以令牌序列為輸入來訓練模型
為了訓練模型,我將源代碼拆分為令牌序列。模型的輸入為單個部分序列及它的源圖像,其標簽是文本中的下一個令牌。該模型使用交叉熵函數(shù)作為損失函數(shù),將模型的下個預測令牌與實際的下個令牌進行比較。
在模型從頭開始生成代碼的過程中,該推理方式稍有不同。圖像仍然通過CNN網(wǎng)絡進行處理,但文本處理開始時僅采用一個啟動序列。在每個步驟中,模型對序列中輸出的下個預測令牌將會添加到當前輸入序列,并作為新的輸入序列送到模型中;重復此操作直到模型的預測令牌為,或該過程達到每個文本中令牌數(shù)目的預定義值。
當模型生成一組預測令牌后,編譯器就會將DSL令牌轉(zhuǎn)換為HTML代碼,這些HTML代碼可以在任何瀏覽器中運行。
我決定使用BLEU分數(shù)來評估模型。這是機器翻譯任務中常用的一種度量標準,通過在給定相同輸入的情況下,衡量機器生成的文本與人類可能產(chǎn)生內(nèi)容的近似程度。
實際上,BLEU通過比較生成文本和參考文本的N元序列,以創(chuàng)建修改后的準確版本。它非常適用于這個項目,因為它會影響生成HTML代碼中的實際元素,以及它們之間的相互關(guān)系。
最棒的是,我還可以通過檢查生成的網(wǎng)站來比較當前的實際BLEU分數(shù)。
△ 觀察BLEU分數(shù)
當BLEU分數(shù)為1.0時,則說明給定源圖像后該模型能在正確位置設置合適的元素,而較低的BLEU分數(shù)這說明模型預測了錯誤元素或是把它們放在相對不合適的位置。我們最終模型在評估數(shù)據(jù)集上的BLEU分數(shù)為0.76。
后來,我還想到,由于該模型只生成當前頁面的框架,即文本的令牌,因此我可以在編譯過程中添加一個定制的CSS層,并立刻得到不同風格的生成網(wǎng)站。
△ 一個手繪圖生成多種風格的網(wǎng)頁
把風格定制和模型生成兩個過程分開,在使用模型時帶來了很多好處:
1.如果想要將SketchCode模型應用到自己公司的產(chǎn)品中,前端工程師可以直接使用該模型,只需更改一個CSS文件來匹配該公司的網(wǎng)頁設計風格;
2. 該模型內(nèi)置的可擴展性,即通過單一源圖像,模型可以迅速編譯出多種不同的預定義風格,因此用戶可以設想出多種可能的網(wǎng)站風格,并在瀏覽器中瀏覽這些生成網(wǎng)頁。
受到圖像標注研究的啟發(fā),SketchCode模型能夠在幾秒鐘內(nèi)將手繪網(wǎng)站線框圖轉(zhuǎn)換為可用的HTML網(wǎng)站。
但是,該模型還存在一些問題,這也是我接下來可能的工作方向:
1. 由于這個模型只使用了16個元素進行訓練,所以它不能預測這些數(shù)據(jù)以外的令牌。下一步方向可能是使用更多元素來生成更多的網(wǎng)站樣本,包括網(wǎng)站圖片,下拉菜單和窗體,可參考啟動程序組件(https://getbootstrap.com/docs/4.0/components/buttons/)來獲得思路;
2. 在實際網(wǎng)站構(gòu)建中,存在很多變化。創(chuàng)建一個能更好反映這種變化的訓練集,是提高生成效果的一種好方法,可以通過獲取更多網(wǎng)站的HTML/CSS代碼以及內(nèi)容截圖來提高;
3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個問題的一種好方法是使用生成對抗網(wǎng)絡GAN來創(chuàng)建更逼真的繪制網(wǎng)站圖像。
代碼:https://github.com/ashnkumar/sketch-code
原文:https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82
— 完 —
誠摯招聘
量子位正在招募編輯/記者,工作地點在北京中關(guān)村。期待有才氣、有熱情的同學加入我們!相關(guān)細節(jié),請在量子位公眾號(QbitAI)對話界面,回復“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
?'?' ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)
文共2416字,預計學習時長5分鐘
圖片來源:Unsplash/Luca Bravo
函數(shù)是編程中的關(guān)鍵部件之一。這些函數(shù)可執(zhí)行特定任務,并可反復調(diào)用執(zhí)行。將Javascript中的函數(shù)和其他編程語言中的函數(shù)相比較,其中最大的區(qū)別在于Javascript函數(shù)為一級對象,這意味著Javascript中的函數(shù)表現(xiàn)類似于對象,可作為變量、數(shù)組和其他對象。
本文就定義函數(shù)的三種不同方法進行討論:
1. 函數(shù)聲明
2. 函數(shù)表達式
3. 生成器函數(shù)
1. 函數(shù)聲明
函數(shù)聲明可能是最常見的方式了。觀察如下語句:
function name (parameter) { statements }
函數(shù)聲明語句
函數(shù)由關(guān)鍵字函數(shù)、函數(shù)的強制名稱和括號內(nèi)的參數(shù)組成(定義函數(shù)也可無參數(shù))。最后,大括號內(nèi)則是函數(shù)的主體,用以執(zhí)行實際任務。
理解形參和實參的區(qū)別很重要。形參是定義函數(shù)時的一個變量。在調(diào)用函數(shù)時,實參則是輸入函數(shù)形參的實際數(shù)據(jù)。
首先,看一個簡單實例:
function hello(name) { console.log("Hello "+ name) } hello('stuti') // Hello stuti hello(12) // Hello 12
名為hello的函數(shù)以實際參數(shù)名稱聲明,在控制臺記錄消息。從本例中,可以看出,因為實際參數(shù)上無指定類型,所以其既適用于string函數(shù),也適用于number函數(shù)。倘若只是希望該函數(shù)是一個名稱而不是數(shù)值呢?很遺憾,由于Javascript中沒有預建法來實現(xiàn)這一點,必須手動確定輸入函數(shù)的實際參數(shù)類型,如下所示:
function hello(name) { if (typeof name === 'string') console.log("Hello " + name) else console.log("Please input a Name") } hello(12) // Plese input a Name
默認情況下,函數(shù)返回未定義變量。若要返回任何其他值,則函數(shù)必須具備返回語句,而由該語句指定返回值。
function something(){ } console.log(something()) // undefined function notSomething(){ return 1 } console.log(notSomething()) // 1
函數(shù)聲明中提升是什么?
簡單地說,這意味著在執(zhí)行代碼時,無論何處聲明函數(shù)或變量,它們均會移動至作用域的頂部。這也就是所謂的提升。
觀察下方實例:
myName() // My name is Stuti Chahuhan function myName() { console.log(`My name is Stuti Chauhan`) }
函數(shù)聲明中的提升
此處甚至是在聲明之前就調(diào)用了這個函數(shù)——提升。
2. 函數(shù)表達式
圖片來源:unsplash.com/@creativegangsters
函數(shù)表達式與函數(shù)聲明極為相似,連語句都不甚相同。最主要的區(qū)別在于函數(shù)表達式不以關(guān)鍵字函數(shù)開頭,且函數(shù)名稱可選,在此情況下,該函數(shù)表達式則可以成為一個匿名函數(shù)。如果函數(shù)有名稱,則將其稱為命名函數(shù)表達式。
let checkNumber = function check (num){ return (num %2==0)?"even" : "odd" } console.log(checkNumber(50)) // even
函數(shù)表達式的例子
現(xiàn)在來觀察一下定義上述函數(shù)的匿名法。
//Anonymous Function let checkNumber = function (num){ return (num %2==0)?"even" : "odd" } console.log(checkNumber(50)) // even
匿名函數(shù)表達式
函數(shù)聲明和函數(shù)表達式最關(guān)鍵的區(qū)別就在于函數(shù)表達式無提升功能。若在函數(shù)表達式中嘗試與提升函數(shù)聲明相同的項目,則會出現(xiàn)報錯。
myName() // ReferenceError: myName is not defined let myName =function () { console.log(`My name is Stuti Chauhan`) }
函數(shù)表達式中無提升
IIFE(立即執(zhí)行函數(shù)表達式)
這意味著函數(shù)一旦定義就開始運行,而函數(shù)表達式附在分組操作符()中,
( function () { let num = 4 return num }) //4
為什么典型的函數(shù)表達式需要IIFE?一般定義一個函數(shù),隨后多次調(diào)用。但倘若只想調(diào)用一次用來生成輸出,并且不再使用該函數(shù)呢?由此就出現(xiàn)了IIFE。該函數(shù)會立即執(zhí)行,并在以后不再經(jīng)程序訪問。因為不需再調(diào)用該函數(shù),所以它也不需要名稱,因此匿名函數(shù)表達式首選IIFE。
3. 生成器函數(shù)
圖片來源:unsplash.com/@roman_lazygeek
普通函數(shù)遵循運行-完成的模型,不能在執(zhí)行最后一行之前停止運行。若想在執(zhí)行過程中退出,必須返回或拋出一個錯誤。
而生成器函數(shù)可以在執(zhí)行過程中停止。當其調(diào)回時,仍然從停止的地方繼續(xù)。
該函數(shù)與普通函數(shù)一樣進行聲明,但不同之處在于生成器函數(shù)在function關(guān)鍵字后面帶有星號*,其間可包含任意數(shù)量的空格。
還有一點需要注意:在JavaScript中,生成器是一個函數(shù),該函數(shù)返回一個對象,在該對象上可調(diào)用next(),每次調(diào)用next()都會返回一個結(jié)構(gòu)如下的對象:
{ value: Any, done: true|false }
此對象包含兩個屬性:value和done。Value是對象的實際值,而done規(guī)定了函數(shù)終止的屬性——默認值為false,當其變?yōu)閠rue時,則函數(shù)停止。
通過一個簡單的例子來理解這點:
function * generatorFunction() { console.log('first to execute'); yield 'takes a pause'; console.log(' printed after the pause'); yield 'end of the function'; } const gen = generatorFunction(); console.log(gen.next().value); // first to execute // takes a pause console.log(gen.next().value); // printed after the pause // end of the function console.log(gen.next().value); // undefined
函數(shù)本體中,不使用return關(guān)鍵字——而是使用yeild,如果使用了return,則會將done屬性更改為true,函數(shù)將結(jié)束——之后的任何操作都不會執(zhí)行。Yield給出為其分配的值。
首先,在調(diào)用函數(shù)前先定義函數(shù),同時調(diào)用一個生成器函數(shù),形成一個生成器對象,存儲在變量中。
然后在使用next()和value屬性時調(diào)用對象。第一次使用next()時,函數(shù)執(zhí)行開始。首先,運行console.log (“首次執(zhí)行”)并將其記錄在控制臺中,然后遇到y(tǒng)ield—輸出 “暫停”值,執(zhí)行停止。
第二次調(diào)用next()時,它從上次暫停處繼續(xù)。同樣,首先運行console.log(),再次遇到y(tǒng)ield,生成“函數(shù)結(jié)束”值,函數(shù)停止。
第三次調(diào)用next()時,結(jié)果是未定義。這是因為由生成器函數(shù)生成的對象只能迭代一次——該對象現(xiàn)在是無用的,必須生成一個新對象才能重新啟動程序。
function* generator() { yield "some value"; return "ends here"; yield "will never execute"; yield "never reach here" } var gen = generator() console.log(gen.next()); // { value: "some value", done: false } console.log(gen.next()); // { value: "ends here", done: true } console.log(gen.next()); // { value: undefined, done: true } console.log(gen.next()); // { value: undefined, done: true }
如果使用return而不是yield,那么數(shù)據(jù)的值就會被更改為true,之后就不會執(zhí)行任何操作。與Promise結(jié)合使用時,就異步編程而言,生成器是一個非常強大的工具。該函數(shù)即使不能完全消除回調(diào)的問題,也可以減輕其問題的程度。
結(jié)論:哪種方法更好?
事實上,我們不能將其進行比較,然后說一個比另一個好——聲明的類型還是取決于具體情況或條件。
為實現(xiàn)更好的異步功能則使用生成器函數(shù),針對立即執(zhí)行函數(shù)的情況,則使用匿名函數(shù)表達式。
留言 點贊 關(guān)注
我們一起分享AI學習與發(fā)展的干貨
編譯組:柳玥、溫媛
相關(guān)鏈接:
https://medium.com/better-programming/three-ways-to-define-functions-in-javascript-750a908e51d9
如需轉(zhuǎn)載,請后臺留言,遵守轉(zhuǎn)載規(guī)范
JavaScript 函數(shù)有 4 種調(diào)用方式。
每種方式的不同方式在于 this 的初始化。
this 關(guān)鍵字
一般而言,在Javascript中,this指向函數(shù)執(zhí)行時的當前對象。
注意 this 是保留關(guān)鍵字,你不能修改 this 的值。 |
調(diào)用 JavaScript 函數(shù)
我們知道如何創(chuàng)建函數(shù)。
函數(shù)中的代碼在函數(shù)被調(diào)用后執(zhí)行。
作為一個函數(shù)調(diào)用
實例
function myFunction(a, b) {
return a * b;
}
myFunction(10, 2); // myFunction(10, 2) 返回 20
以上函數(shù)不屬于任何對象。但是在 JavaScript 中它始終是默認的全局對象。
在 HTML 中默認的全局對象是 HTML 頁面本身,所以函數(shù)是屬于 HTML 頁面。
在瀏覽器中的頁面對象是瀏覽器窗口(window 對象)。以上函數(shù)會自動變?yōu)?window 對象的函數(shù)。
myFunction() 和 window.myFunction() 是一樣的:
實例
function myFunction(a, b) {
return a * b;
}
window.myFunction(10, 2); // window.myFunction(10, 2) 返回 20
這是調(diào)用 JavaScript 函數(shù)常用的方法, 但不是良好的編程習慣 全局變量,方法或函數(shù)容易造成命名沖突的bug。 |
全局對象
當函數(shù)沒有被自身的對象調(diào)用時, this 的值就會變成全局對象。
在 web 瀏覽器中全局對象是瀏覽器窗口(window 對象)。
該實例返回 this 的值是 window 對象:
實例
function myFunction() {
return this;
}
myFunction(); // 返回 window 對象
函數(shù)作為全局對象調(diào)用,會使 this 的值成為全局對象。使用 window 對象作為一個變量容易造成程序崩潰。 |
函數(shù)作為方法調(diào)用
在 JavaScript 中你可以將函數(shù)定義為對象的方法。
以下實例創(chuàng)建了一個對象 (myObject), 對象有兩個屬性 (firstName 和 lastName), 及一個方法 (fullName):
實例
var myObject = {
firstName:"John",
lastName: "Doe",
fullName: function () {
return this.firstName + " " + this.lastName;
}
}
myObject.fullName(); // 返回 "John Doe"
fullName 方法是一個函數(shù)。函數(shù)屬于對象。 myObject 是函數(shù)的所有者。
this對象,擁有 JavaScript 代碼。實例中 this 的值為 myObject 對象。
測試以下!修改 fullName 方法并返回 this 值:
實例
var myObject = {
firstName:"John",
lastName: "Doe",
fullName: function () {
return this;
}
}
myObject.fullName(); // 返回 [object Object] (所有者對象)
函數(shù)作為對象方法調(diào)用,會使得 this 的值成為對象本身。 |
使用構(gòu)造函數(shù)調(diào)用函數(shù)
如果函數(shù)調(diào)用前使用了 new 關(guān)鍵字, 則是調(diào)用了構(gòu)造函數(shù)。
這看起來就像創(chuàng)建了新的函數(shù),但實際上 JavaScript 函數(shù)是重新創(chuàng)建的對象:
實例
// 構(gòu)造函數(shù):
function myFunction(arg1, arg2) {
this.firstName = arg1;
this.lastName = arg2;
}
// Thiscreates a new object
var x = new myFunction("John","Doe");
x.firstName; // 返回 "John"
構(gòu)造函數(shù)的調(diào)用會創(chuàng)建一個新的對象。新對象會繼承構(gòu)造函數(shù)的屬性和方法。
構(gòu)造函數(shù)中 this 關(guān)鍵字沒有任何的值。this 的值在函數(shù)調(diào)用時實例化對象(new object)時創(chuàng)建。 |
作為函數(shù)方法調(diào)用函數(shù)
在 JavaScript 中, 函數(shù)是對象。JavaScript 函數(shù)有它的屬性和方法。
call() 和 apply() 是預定義的函數(shù)方法。 兩個方法可用于調(diào)用函數(shù),兩個方法的第一個參數(shù)必須是對象本身。
實例
function myFunction(a, b) {
return a * b;
}
myFunction.call(myObject, 10, 2); // 返回 20
實例
function myFunction(a, b) {
return a * b;
}
myArray = [10,2];
myFunction.apply(myObject, myArray); // 返回 20
兩個方法都使用了對象本身作為第一個參數(shù)。 兩者的區(qū)別在于第二個參數(shù): apply傳入的是一個參數(shù)數(shù)組,也就是將多個參數(shù)組合成為一個數(shù)組傳入,而call則作為call的參數(shù)傳入(從第二個參數(shù)開始)。
在 JavaScript 嚴格模式(strict mode)下, 在調(diào)用函數(shù)時第一個參數(shù)會成為 this 的值, 即使該參數(shù)不是一個對象。
在 JavaScript 非嚴格模式(non-strict mode)下, 如果第一個參數(shù)的值是 null 或 undefined, 它將使用全局對象替代。
通過 call() 或 apply() 方法你可以設置 this 的值, 且作為已存在對象的新方法調(diào)用。 |
如您還有不明白的可以在下面與我留言或是與我探討QQ群308855039,我們一起飛!
*請認真填寫需求信息,我們會在24小時內(nèi)與您取得聯(lián)系。