整合營銷服務商

          電腦端+手機端+微信端=數據同步管理

          免費咨詢熱線:

          寫個網頁更簡單了!讓AI根據手繪原型生成HTML - 教程+代碼

          小新 編譯自 Insight Data Blog

          量子位 出品 | 公眾號 QbitAI

          寫個網頁能有多麻煩?在大多數公司里,這項工作分為三步:

          1. 產品經理完成用戶調研任務后,列出一系列技術要求;

          2. 設計師根據這些要求來設計低保真原型,逐漸修改得到高保真原型和UI設計圖;

          3. 工程師將這些設計圖實現為代碼,最終變成用戶使用的產品。

          這么多環節,任何地方出一點問題,都會拉長開發周期。因此,不少公司,比如Airbnb已經開始用機器學習來提高這個過程的效率。

          Airbnb內部的AI工具,從圖紙到代碼一步到位

          看起來很美好,但Airbnb還沒公開該模型中端到端訓練的細節,以及手工設計的圖像特征對該模型的貢獻度。這是該公司特有的閉源解決方案專利,可能不會進行公開。

          好在,一個叫Ashwin Kumar的程序員創建了一個開源版本,讓開發者/設計師的工作變得更簡單。

          以下內容翻譯自他的博客:

          理想上,這個模型可以根據網站設計的簡單手繪原型,很快地生成一個可用的HTML網站:

          SketchCode模型利用手繪線框圖來生成HTML網站

          事實上,上面例子就是利用訓練好的模型在測試集上生成的一個實際網站,代碼請訪問:https://github.com/ashnkumar/sketch-code。

          從圖像標注中獲取靈感

          目前要解決的問題屬于一種更廣泛的任務,叫做程序綜合(program synthesis),即自動生成工作源代碼。盡管很多程序綜合研究通過自然語言規范或執行追蹤法來生成代碼,但在當前任務中,我會充分利用源圖像,即給出的手繪線框圖來展開工作。

          在機器學習中有一個十分熱門的研究領域,稱為圖像標注(image caption),目的是構建一種把圖像和文本連接在一起的模型,特別是用于生成源圖像內容的描述。

          圖像標注模型生成源圖像的文本描述

          我從一篇pix2code論文和另一個應用這種方法的相關項目中獲得靈感,決定把我的任務按照圖像標注方式來實現,把繪制的網站線框圖作為輸入圖像,并將其相應的HTML代碼作為其輸出內容。

          注:上段提到的兩個參考項目分別是

          pix2code論文:https://arxiv.org/abs/1705.07962

          floydhub教程:https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org

          獲取合適的數據集

          確定圖像標注方法后,理想中使用的訓練數據集會包含成千上萬對手繪線框圖和對應的HTML輸出代碼。但是,目前還沒有我想要的相關數據集,我只好為這個任務來創建數據集。

          最開始,我嘗試了pix2code論文給出的開源數據集,該數據集由1750張綜合生成網站的截圖及其相應源代碼組成。

          pix2code數據集中的生成網站圖片和源代碼

          這是一個很好的數據集,有幾個有趣的地方:

          • 該數據集中的每個生成網站都包含幾個簡單的輔助程序元素,如按鈕、文本框和DIV對象。盡管這意味著這個模型受限于將這些少數元素作為它的輸出內容,但是這些元素可通過選擇生成網絡來修改和擴展。這種方法應該很容易地推廣到更大的元素詞匯表。

          • 每個樣本的源代碼都是由領域專用語言(DSL)的令牌組成,這是該論文作者為該任務所創建的。每個令牌對應于HTML和CSS的一個片段,且加入編譯器把DSL轉換為運行的HTML代碼。

          彩色網站圖像變手繪圖

          為了修改我的任務數據集,我要讓網站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張圖像進行修改,包括灰度轉換和輪廓檢測。

          最終,我決定直接修改原始網站的CSS樣式表,通過執行以下操作:

          1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對象的邊緣;

          2. 模仿繪制的草圖來調整邊框的粗細,并添加陰影;

          3. 將原有字體更改為類似手寫的字體;

          最終實現的流程中還增加了一個步驟,通過添加傾斜、移動和旋轉來實現圖像增強,來模擬實際繪制草圖中的變化。

          使用圖像標注模型架構

          現在,我已經處理好數據集,接下來是構建模型。

          我利用了圖像標注中使用的模型架構,該架構由三個主要部分組成:

          1. 一種使用卷積神經網絡(CNN)的計算機視覺模型,從源圖像提取圖像特征;

          2. 一種包含門控單元GRU的語言模型,對源代碼令牌序列進行編碼;

          3. 一個解碼器模型,也屬于GRU單元,把前兩個步驟的輸出作為輸入,并預測序列中的下一個令牌。

          以令牌序列為輸入來訓練模型

          為了訓練模型,我將源代碼拆分為令牌序列。模型的輸入為單個部分序列及它的源圖像,其標簽是文本中的下一個令牌。該模型使用交叉熵函數作為損失函數,將模型的下個預測令牌與實際的下個令牌進行比較。

          在模型從頭開始生成代碼的過程中,該推理方式稍有不同。圖像仍然通過CNN網絡進行處理,但文本處理開始時僅采用一個啟動序列。在每個步驟中,模型對序列中輸出的下個預測令牌將會添加到當前輸入序列,并作為新的輸入序列送到模型中;重復此操作直到模型的預測令牌為,或該過程達到每個文本中令牌數目的預定義值。

          當模型生成一組預測令牌后,編譯器就會將DSL令牌轉換為HTML代碼,這些HTML代碼可以在任何瀏覽器中運行。

          用BLEU分數評估模型

          我決定使用BLEU分數來評估模型。這是機器翻譯任務中常用的一種度量標準,通過在給定相同輸入的情況下,衡量機器生成的文本與人類可能產生內容的近似程度。

          實際上,BLEU通過比較生成文本和參考文本的N元序列,以創建修改后的準確版本。它非常適用于這個項目,因為它會影響生成HTML代碼中的實際元素,以及它們之間的相互關系。

          最棒的是,我還可以通過檢查生成的網站來比較當前的實際BLEU分數。

          觀察BLEU分數

          當BLEU分數為1.0時,則說明給定源圖像后該模型能在正確位置設置合適的元素,而較低的BLEU分數這說明模型預測了錯誤元素或是把它們放在相對不合適的位置。我們最終模型在評估數據集上的BLEU分數為0.76。

          福利:定制網頁風格

          后來,我還想到,由于該模型只生成當前頁面的框架,即文本的令牌,因此我可以在編譯過程中添加一個定制的CSS層,并立刻得到不同風格的生成網站。

          一個手繪圖生成多種風格的網頁

          把風格定制和模型生成兩個過程分開,在使用模型時帶來了很多好處:

          1.如果想要將SketchCode模型應用到自己公司的產品中,前端工程師可以直接使用該模型,只需更改一個CSS文件來匹配該公司的網頁設計風格;

          2. 該模型內置的可擴展性,即通過單一源圖像,模型可以迅速編譯出多種不同的預定義風格,因此用戶可以設想出多種可能的網站風格,并在瀏覽器中瀏覽這些生成網頁。

          總結和展望

          受到圖像標注研究的啟發,SketchCode模型能夠在幾秒鐘內將手繪網站線框圖轉換為可用的HTML網站。

          但是,該模型還存在一些問題,這也是我接下來可能的工作方向:

          1. 由于這個模型只使用了16個元素進行訓練,所以它不能預測這些數據以外的令牌。下一步方向可能是使用更多元素來生成更多的網站樣本,包括網站圖片,下拉菜單和窗體,可參考啟動程序組件(https://getbootstrap.com/docs/4.0/components/buttons/)來獲得思路;

          2. 在實際網站構建中,存在很多變化。創建一個能更好反映這種變化的訓練集,是提高生成效果的一種好方法,可以通過獲取更多網站的HTML/CSS代碼以及內容截圖來提高;

          3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個問題的一種好方法是使用生成對抗網絡GAN來創建更逼真的繪制網站圖像。

          相關地址

          代碼:https://github.com/ashnkumar/sketch-code

          原文:https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82

          — 完 —

          誠摯招聘

          量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復“招聘”兩個字。

          量子位 QbitAI · 頭條號簽約作者

          ?'?' ? 追蹤AI技術和產品新動態

          PM完成Axure原型評審后,一定不能忘記備份這些原型html,后續可能需要查詢以及技術撕逼。

          希望通過Axure原型的幾種使用場景,讓初級PM對它的來龍去脈有個清晰的了解。而不是停留在“我知道”“大概會用”的水平。

          版本

          PM會經常修改AxureRP源文件,然后生成不同的原型。

          但是對外評審的原型應該是唯一的。

          并且該版本的產品需求文檔PRD就是這個原型。

          請注意兩者不能混為一談。

          打開

          一般來說我們是在Axure生成原型Html的時候,自動在瀏覽器中打開了原型并查看。

          但是如何打開已備份在電腦中的原型呢,很多初級PM摸不著頭腦了。其實也不復雜,如果你學會一點html網頁的知識。

          請進入該原型對應的目錄,比如APP名稱V2.0版,我們會發現存在data、file、images、plugins、resources等文件夾,以及很多html網頁。請找到start.html,然后雙擊打開就是你熟悉的原型啦。

          展示

          當原型評審后,PM需要將原型放到網上供所有團隊成員進行設計和編程。

          不管是放到內網展示,還是外網展示。其本質都是將Axure原型的所有文件都上傳到服務器,包括所有的html文件,圖片文件,js文件,css文件。不能缺少任何文件,否則就無法正常顯示。

          如果你只是修改了某個頁面,也切記生成并將所有文件上傳一遍,而不僅僅是該頁面對應的html文件。因為其對應的js,css文件,圖片文件也可能被修改

          上傳之后然后把對應的原型網址發給其他團隊成員即可查看。

          備份

          由于Axure原型是由html+js+cs組成的文件,我們在生成的時候將他們放置在指定目錄。

          嘉定我們將該產品的所有原型存放于D://PM/APP名稱,那么建議以“APP名稱V1.0版”的格式命名,并生成原型。

          當然你也可以繼續壓縮之后存起來,不過就不太方便后續的查詢。

          回退

          有時候我們需要回退版本的時候,需要把舊版本的原型也拿出來。那么請用舊版本的原型html去替換當下的原型目錄。

          不過不太建議這樣,還不如新增一個版本來處理。

          查詢

          由于Axure生成的原型,是以Html文件進行索引內容的。而Html是以你在Axure中新建的頁面來作為基礎的。如果你畫Axure原型的時候是以你產品中的頁面來進行命名和創建的。那么我們可以通過搜索“頁面名稱”關鍵詞去查詢你想要查詢的頁面

          如果你使用的搜索工具支持搜索文件內內容,比如Windows下面的everthing,Mac自帶的spotlight。那么可以通過搜索“頁面內文字”關鍵詞去查詢你想要查詢的相關頁面

          不過我更建議你進入到具體版本的原型html文件夾里面進行搜索,而不是進行全局搜索。

          總結

          以上就是Axure原型的使用場景。請一定要理解Axure原型的本質是html+js+css,每次生成原型的時候會在本地生成目錄并寫入這些文件。

          #專欄作家#

          浪子,業務型PM,浪子PRD系列51prd.com,公眾號langzisay,個人微信nuanai88。

          本文由 @浪子 原創發布于人人都是產品經理。未經許可,禁止轉載。

          題圖來自 unsplash,基于 CC0 協議

          準方法(The Standard Way)

          一直以來,我們學習的在 JavaScript 里創建對象的方法都是創建一個構造函數,然后為函數的原型對象添加方法。

          function Animal(name) {
            this.name = name;
          }
          Animal.prototype.getName = function() {
            return this.name;
          };

          對于子類的解決方案是,創建一個新的構造函數,并且設置其原型為其父類的原型。調用父類的構造函數,并將this設置為其上下文對象。

          function Dog(name) {
            Animal.call(this, name);
          }
          Dog.prototype = Object.create(Animal.prototype);
          Dog.prototype.speak = function() {
            return "woof";
          };
          
          var dog = new Dog("Scamp");
          console.log(dog.getName() + ' says ' + dog.speak());

          原型方法(The Prototypal Way)

          如果你接觸過任何原型語言,你會覺得上面的例子看起來很奇怪。我嘗試過 IO 語言——一門基于原型的語言。在原型語言中,可以通過克隆對象并添加屬性和方法的方式創建一個原型。然后你能克隆剛才創建的原型,從而創建一個可以使用的實例,或者克隆它來創建另一個原型。上面的例子在 IO 里,看起來像下面這樣:

          Animal := Object clone
          Animal getName := method(name)
          
          Dog := Animal clone
          Dog speak := method("woof")
          
          dog := Dog clone
          dog name := "Scamp"
          writeln(dog getName(), " says ", dog speak())

          好消息(The Good News)

          在JavaScript中,也可以使用這種編碼方式!Object.create 函數和 IO 里的 clone 類似。下面是在JavaScript中,純原型的實現。除了語法不同之外,和 IO 版本一樣。

          Animal = Object.create(Object);
          Animal.getName = function() {
            return this.name;
          };
          
          Dog = Object.create(Animal);
          Dog.speak = function() {
            return "woof";
          };
          
          var dog = Object.create(Dog);
          dog.name = "Scamp";
          console.log(dog.getName() + ' says ' + dog.speak());

          壞消息(The Bad News)

          當使用構造函數時,JavaScript 引擎會進行優化。在 JSPerf 上測試兩個不同的操作,顯示基于原型的實現比使用構造函數的方式最多慢90多倍。

          另外,如果你使用類似 Angular 的框架,當創建控制器和服務時,必須使用構造函數。

          引入類(Enter Classes)

          ES6帶來了新的 class 語法。但其只是標準構造函數方法的語法糖。新的語法看起來更像 Java 或 c#,但其幕后仍然是創建原型對象。這會讓來自基于類語言的人感到迷惑,因為當創建原型時,他們希望類和他們的語言有相同的屬性。

          class Animal {
            constructor(name) {
              this.name = name;
            }
            getName() {
              return this.name;
            }
          }
          
          class Dog extends Animal {
            constructor(name) {
              super(name);
            }
            speak() {
              return "woof";
            }
          }
          
          var dog = new Dog("Scamp");
          console.log(dog.getName() + ' says ' + dog.speak());

          結論(Conclusion)

          如果讓我選擇,我會用純原型的風格。這更具有表現力,動態和有趣。由于虛擬機會對構造函數方法進行優化,所有框架都會選擇構造函數方法,在產品代碼中,我會繼續使用構造函數。一旦 ES6 變得流行,我希望使用新的類語法代替古老的構造函數方法。


          主站蜘蛛池模板: 久久精品一区二区三区日韩| 日韩免费无码一区二区三区| 国产伦精品一区二区三区无广告 | 97久久精品午夜一区二区| 日本一区二区在线免费观看| 亚洲国产一区国产亚洲| 国产伦精品一区二区三区视频小说| 一区二区三区AV高清免费波多| 久久久精品一区二区三区| 日本精品一区二区三区四区| 日韩精品一区二区三区老鸭窝| 中文字幕亚洲一区| 一区二区三区波多野结衣| 国产精品夜色一区二区三区| 中文字幕色AV一区二区三区| 韩国福利一区二区美女视频| 精品一区二区三区高清免费观看 | 国产午夜一区二区在线观看| 国产一区二区三区无码免费| 亚洲成av人片一区二区三区| 精品人妻少妇一区二区三区| 国产精品无码AV一区二区三区| 亚洲一区二区三区在线观看蜜桃| 无码日韩精品一区二区免费| 日韩有码一区二区| 精品一区二区三区在线视频| 亚洲熟妇无码一区二区三区导航| 成人国产精品一区二区网站| 免费无码VA一区二区三区| 人妻在线无码一区二区三区| 无码视频免费一区二三区| 国产亚洲欧洲Aⅴ综合一区| 波多野结衣一区二区三区88| 亚洲高清日韩精品第一区| 久久精品一区二区三区日韩| 国产一区二区精品尤物| 欧洲精品码一区二区三区免费看| 国产一区二区成人| 国产精品高清一区二区三区不卡| 一区二区三区91| 国产成人无码一区二区在线播放|