據對于任何一個企業來說都是非常重要的,為了保證數據 ETL 流程的質量及效率,很多公司都會引入 ETL 工具。目前 ETL 工具有很多,但是針對 ETL 測試的測試工具在業界卻比較少見。這是為什么呢?
主要是因為在日常 ETL 測試過程中會遇到很多問題,特別是 Hive SQL 類測試的問題:
(1)測試以手動測試為主,缺少自動化工具;
(2)缺少與數據質量相關的分析工具;
(3)測試中需要重復編寫SQL語句,效率較低;
(4)運行SQL語句耗時太長,嚴重拖慢測試進度;
(5)Shell窗口中的查詢結果不易保存,HUE的查詢結果易過期且需要手動操作保存;
(6)數據同步場景及ETL場景下,需要對比源表和目標表一致性,缺少對比工具;
(7)實時數據處理場景對數據時效性要求高,測試時場景難以模擬,問題難以復現;
(8)常用測試場景下的用例重復,例如,對拉鏈表測試、MapReduce腳本的測試缺少通用的測試覆蓋用例;
(9)缺少Hive與HBase一致性對比工具。
總的來說,大數據測試存在門檻高、測試效率較低、測試覆蓋不全、測試場景不易復現、 測試問題難以定位等問題,今天異步君就給大家介紹一款可以解決上述問題的超好用大數據測試工具——easy_data_test。
easy_data_test
easy_data_test 是用Python編寫的,目前它的主要功能有:
(1)支持單表數據量、列空值數據量、列非空值數據量、列最大值、列最小值、列不同值、不同值數據量查詢,支持對表結構、任意 select 語句的查詢,支持表基本信息查詢、值域分析、異常值分析、手機號合規性分析、ID 合規性分析。
(2)支持雙表數據量對比、列空值數據量對比、列非空值數據量對比、表結構對比、Hive 雙表一致性對比、Hive 與 HBase 一致性對比。
(3)支持查看主備集群及庫切換、庫表集群信息。
(4)支持實時查看歷史執行命令及結果,以 HTML 頁面展示全表分析,以 HTML 頁面展示值域,以 HTML 頁面展示 Hive 雙表一致性分析結果。
(5)支持拉鏈表通用測試(判斷拉鏈表是否斷鏈,判斷拉鏈表日期正確性,對比拉鏈表與臨時表數據量、數值)
easy_data_test功能如此強大,是如何實現的呢?異步君拿到了獨家資料,從這個工具的模塊設計到技術選型、再到代碼實現通通都有,干貨滿滿!下面就讓我們來詳細看看吧。
模塊設計
話不多說,直接上圖:
easy_data_test 模塊設計
如圖所示,用戶運行 easy_data_test 工具后,可以通過 ./easy_data_test --help 命令查看所有非交互式命令,使用 stdin.readline() 來獲取用戶輸入的語句。
如果沒有指定 -f 或者 -e 就會進入交互式命令行模式。進入交互式模式后,程序通過 raw_input 函數獲取用戶輸入的命令,并根據命令的首個關鍵字執行對應的函數。函數中封裝了一條或多條 SQL 語句,通過 Presto 讀取 Hive 元數據,或通過 pyHive 的 Hive 模塊連接 Hive。
部分執行結果展示在終端頁面,并存儲在查詢歷史命令及結果文件中。部分命令執行完畢后會生成 url,通過瀏覽器可以查看相應命令的執行結果。
不同的首個關鍵字對應不同的功能模塊,通常每個功能模塊包含多個執行函數。
技術選型
業內常用的 Python 連接 Hive 的工具有 Presto、pyHive、impala 及 pyhs2 等。設計人員在經過執行效率及公司現有環境綜合比較后,最終選擇了 Presto 作為查詢主要工具。
Presto 是由 Facebook 公司開發的、一個運行在多臺服務器上的分布式查詢引擎。本身雖然并不存儲數據,但是可以接入多種數據源(Hive、HBase、Oracle、MySQL、Kafka、Redis 等),并且支持跨數據源的級聯查詢。
Presto 所使用的執行模式與 Hive 有根本的不同,大部分場景下 Presto 比 Hive 快一個數量級。Presto 接受請求后,立即執行,全內存并行計算;Hive 需要用 Yarn 做資源調度,為了接受查詢,需要先申請資源,啟動進程,并且采用 MapReduce 計算模型,中間結果會保存在磁盤上,所以速度就相對較慢。
使用 easy_data_test 過程中,有時會發現 Presto 存在部分 HiveQL 不兼容問題,例如,show tables like a* 命令無法執行,表結構查詢與預期不符,執行切換庫操作報錯時不拋出異常等。
考慮到 Presto 部分功能缺失帶來的問題,于是設計人員選擇 pyHive 作為功能彌補工具,在執行特定 SQL 語句時會切換到 pyHive 去連接 Hive 執行。
區別于 Hive,需要格外注意的是,Presto 不支持隱式轉換。例如,Hive 會成功執行以下語句:
select count(1) from sample_label where label <> ";
但是使用 Presto 執行就會報告以下錯誤;
PrestoUserError(type=USER_ERROR, name=SYNTAX_ERROR, message="line 1:83: '<>' cannot be applied to integer, varchar(0)", query_id=20191106_024551_ 01370_8ukjc)
報錯原因是,label 列定義的類型為 integer,在使用 Presto 時直接將該列與空字符做比較,Presto 不支持隱式轉換。對于該類問題,使用時只需將 label 顯式轉換為 string 或者 varchar 類型即可解決。
select count(1) from sample_label where cast(label as string) <> ";
從以上內容已經不難看出研發人員的匠心,最后我們直接來看一看 easy_data_test 的模塊代碼。
模塊代碼
入口函數如下:
1 def main(options, hostname, port):
2 setup_cqlruleset(options.cqlmodule)
3 setup_cqldocs(options.cqlmodule)
4 # 初始化歷史執行命令及結果文件
5 init_history()
6 if options.file is None:
7 stdin = None
8 else:
9 try:
10 encoding, bom_size = get_file_encoding_bomsize(options.file)
11 stdin = codecs.open(options.file, 'r', encoding)
12 stdin.seek(bom_size)
13 except IOError, e:
14 sys.exit("Can't open %r: %s" % (options.file, e))
15
16 try:
17 # 初始化Shell,該類繼承自cmd.Cmd
18 shell = Shell(hostname,
19 port,
20 database=options.database,
21 username=options.username,
22 password=options.password,
23 stdin=stdin,
24 tty=options.tty,
25 completekey=options.completekey,
26 single_statement=options.execute,
27 connect_timeout=DEFAULT_CONNECT_TIMEOUT_SECONDS)
28 except KeyboardInterrupt:
29 sys.exit('Connection aborted.')
30 except Exception, e:
31 sys.exit('Connection error: %s' % (e,))
32 if options.debug:
33 shell.debug = True
34
35 # 通過交互式命令循環處理
36 shell.cmdloop()
37 batch_mode = options.file or options.execute
38 if batch_mode and shell.statement_error:
39 sys.exit(2)
40
41
42 if __name__ == '__main__':
43 main(*read_options(sys.argv[1:], os.environ))
通過 Presto 連接 Hive 的代碼如下:
1 import prestodb
2 conn=prestodb.dbapi.connect(
3 host= ip,
4 port=8443,
5 user='username',
6 catalog='hive',
7 schema='default',
8 http_scheme='https',
9 auth=prestodb.auth.BasicAuthentication("username", "username的密碼"),
10 )
11 conn._http_session.verify = './presto.pem' #身份認證相關文件
12 cur = conn.cursor()
13 cur.execute('SELECT * FROM system.runtime.nodes')
14 rows = cur.fetchall()
15 print rows
為了使用 Hive 查詢全表數據量,需要執行 SQL 語句 select count(*) from tablename。使用工具代碼封裝后,查詢表數據只需要使用 count tablename 即可實現,且查詢效率比使用原生 Hive 快一個數量級。查詢結果保存在歷史文件中,可以使用相關命令查看。
關于單表模塊的命令有多個,count 命令的代碼如下:
1 class SigleTableAnalysis(cmd.Cmd):
2 # count table,查詢表數據量,支持傳入where條件
3 @classmethod
4 def do_count(self, parsed, print_command=True, print_res=True):
5 try:
6 table_name = parsed.split(' ')[1].strip(';')
7 statement = 'select count(1) from %s' % table_name
8 if len(parsed.split(' ')) >=3 and parsed.split(' ')[2].strip() == 'where': 9 wherecondition = ' '.join(parsed.split(' ')[3:])
10 statement = statement + ' where ' + wherecondition
11 status, res = perform_simple_statement(statement, detail=False, print_
command=print_command, print_res=print_res)
12 if not print_res:
13 return status, res
14 except IndexError as e:
15 print('please check whether your command is right')
16 except Exception as e:
17 import traceback
18 print('%s detail: %s' % (str(e), traceback.format_exc()))
其他模塊的代碼與 count 命令的代碼相似,雙表查詢模塊、拉鏈表測試模塊、數據質量分析模塊會在單表模塊的基礎上進行封裝,所以設計會更復雜一些,由于篇幅有限,異步君沒法在這里為大家更多地展示了。想要深入了解的小伙伴,推薦閱讀《機器學習測試入門與實踐》。
機器學習測試入門與實踐
作者:艾輝
內容簡介:
本書全面且系統地介紹了機器學習測試技術與質量體系建設,能夠幫助讀者了解機器學習是如何工作的,了解機器學習的質量保障是如何進行的。
工程開發人員和測試工程師通過閱讀本書,可以系統化地了解大數據測試、特征測試及模型評估等知識;算法工程師通過閱讀本書,可以學習模型評測的方法和拓寬模型工程實踐的思路;技術專家和技術管理者通過閱讀本書,可以了解機器學習質量保障與工程效能的建設方案。
家好,我是DD,已經是封閉在家的第51天了!
最近一直在更新Java新特性(https://www.didispace.com/java-features/)和IDEA Tips(https://www.didispace.com/idea-tips/)兩個原創專欄,其他方向內容的動態關注少了。昨天天晚上刷推的時候,瞄到了這個神奇的東西,覺得挺cool的,拿出來分享下:
相信你看到圖,不用我說,你也猜到是啥了吧?html里可以跑python代碼了!
看到好多Python公眾號已經開始猛吹未來了,但乍看怎么覺得有點像JSP?或者一些模版引擎?是進步還是倒退呢?與其瞎想,不如仔細看看這個東東的能力吧!
根據官方介紹,這個名為PyScript的框架,其核心目標是為開發者提供在標準HTML中嵌入Python代碼的能力,使用 Python調用JavaScript函數庫,并以此實現利用Python創建Web應用的功能。
看到介紹里提到了調用JavaScript函數庫的能力,看來跟JSP或者模版引擎還是有區別的。
官方給了一個例子,可以幫助我們觀的感受這個開發框架的能力,不妨跟著DD看看,它能做啥吧!
第一個案例,hello world
代碼很簡單,就下面這幾行。你只需要創建一個html文件,然后復制進去就可以了。
|
保存好之后,在瀏覽器里打開就能看到這樣的頁面了:
回頭再看看這個html里的內容,三個核心內容:
如果你懶得自己敲代碼的話,本文的兩個案例代碼我打包放在公眾號了,需要的朋友可以關注公眾號“程序猿DD”,回復:pyscript 獲取。
第二個案例,數據定義 + 數據展示
先創建一個data.py文件,然后加入前面的代碼。功能很簡單,就是隨機生成(x,y)的坐標
|
再創建一個html文件,加入下面的代碼
|
這里就稍微復雜一些了,除了hello world中的幾個要點外,這里還有這幾個要關注的地方:
這個頁面的執行效果是這樣的:
是不是很神奇呢?整個過程中都沒有大家熟悉的cs、js內容,就完成了這樣一個圖的頁面實現。
最后,談談在整個嘗試過程中,給我的幾個感受:
這個開發框架目前還只是alpha版本,未來一定還會有更多特性與優化出來,總體上我覺得這個框架還是非常cool的,尤其對于剛學會Python,或者只會Python,但又想快速開發Web應用的小伙伴來說,可能將會是個不錯的選擇,那你覺得這個框架如何?未來會不會火?留言區聊聊吧!
小新 編譯自 Insight Data Blog
量子位 出品 | 公眾號 QbitAI
寫個網頁能有多麻煩?在大多數公司里,這項工作分為三步:
1. 產品經理完成用戶調研任務后,列出一系列技術要求;
2. 設計師根據這些要求來設計低保真原型,逐漸修改得到高保真原型和UI設計圖;
3. 工程師將這些設計圖實現為代碼,最終變成用戶使用的產品。
這么多環節,任何地方出一點問題,都會拉長開發周期。因此,不少公司,比如Airbnb已經開始用機器學習來提高這個過程的效率。
△ Airbnb內部的AI工具,從圖紙到代碼一步到位
看起來很美好,但Airbnb還沒公開該模型中端到端訓練的細節,以及手工設計的圖像特征對該模型的貢獻度。這是該公司特有的閉源解決方案專利,可能不會進行公開。
好在,一個叫Ashwin Kumar的程序員創建了一個開源版本,讓開發者/設計師的工作變得更簡單。
以下內容翻譯自他的博客:
理想上,這個模型可以根據網站設計的簡單手繪原型,很快地生成一個可用的HTML網站:
△ SketchCode模型利用手繪線框圖來生成HTML網站
事實上,上面例子就是利用訓練好的模型在測試集上生成的一個實際網站,代碼請訪問:https://github.com/ashnkumar/sketch-code。
目前要解決的問題屬于一種更廣泛的任務,叫做程序綜合(program synthesis),即自動生成工作源代碼。盡管很多程序綜合研究通過自然語言規范或執行追蹤法來生成代碼,但在當前任務中,我會充分利用源圖像,即給出的手繪線框圖來展開工作。
在機器學習中有一個十分熱門的研究領域,稱為圖像標注(image caption),目的是構建一種把圖像和文本連接在一起的模型,特別是用于生成源圖像內容的描述。
△ 圖像標注模型生成源圖像的文本描述
我從一篇pix2code論文和另一個應用這種方法的相關項目中獲得靈感,決定把我的任務按照圖像標注方式來實現,把繪制的網站線框圖作為輸入圖像,并將其相應的HTML代碼作為其輸出內容。
注:上段提到的兩個參考項目分別是
pix2code論文:https://arxiv.org/abs/1705.07962
floydhub教程:https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org
確定圖像標注方法后,理想中使用的訓練數據集會包含成千上萬對手繪線框圖和對應的HTML輸出代碼。但是,目前還沒有我想要的相關數據集,我只好為這個任務來創建數據集。
最開始,我嘗試了pix2code論文給出的開源數據集,該數據集由1750張綜合生成網站的截圖及其相應源代碼組成。
△ pix2code數據集中的生成網站圖片和源代碼
這是一個很好的數據集,有幾個有趣的地方:
該數據集中的每個生成網站都包含幾個簡單的輔助程序元素,如按鈕、文本框和DIV對象。盡管這意味著這個模型受限于將這些少數元素作為它的輸出內容,但是這些元素可通過選擇生成網絡來修改和擴展。這種方法應該很容易地推廣到更大的元素詞匯表。
每個樣本的源代碼都是由領域專用語言(DSL)的令牌組成,這是該論文作者為該任務所創建的。每個令牌對應于HTML和CSS的一個片段,且加入編譯器把DSL轉換為運行的HTML代碼。
為了修改我的任務數據集,我要讓網站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張圖像進行修改,包括灰度轉換和輪廓檢測。
最終,我決定直接修改原始網站的CSS樣式表,通過執行以下操作:
1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對象的邊緣;
2. 模仿繪制的草圖來調整邊框的粗細,并添加陰影;
3. 將原有字體更改為類似手寫的字體;
最終實現的流程中還增加了一個步驟,通過添加傾斜、移動和旋轉來實現圖像增強,來模擬實際繪制草圖中的變化。
現在,我已經處理好數據集,接下來是構建模型。
我利用了圖像標注中使用的模型架構,該架構由三個主要部分組成:
1. 一種使用卷積神經網絡(CNN)的計算機視覺模型,從源圖像提取圖像特征;
2. 一種包含門控單元GRU的語言模型,對源代碼令牌序列進行編碼;
3. 一個解碼器模型,也屬于GRU單元,把前兩個步驟的輸出作為輸入,并預測序列中的下一個令牌。
△ 以令牌序列為輸入來訓練模型
為了訓練模型,我將源代碼拆分為令牌序列。模型的輸入為單個部分序列及它的源圖像,其標簽是文本中的下一個令牌。該模型使用交叉熵函數作為損失函數,將模型的下個預測令牌與實際的下個令牌進行比較。
在模型從頭開始生成代碼的過程中,該推理方式稍有不同。圖像仍然通過CNN網絡進行處理,但文本處理開始時僅采用一個啟動序列。在每個步驟中,模型對序列中輸出的下個預測令牌將會添加到當前輸入序列,并作為新的輸入序列送到模型中;重復此操作直到模型的預測令牌為,或該過程達到每個文本中令牌數目的預定義值。
當模型生成一組預測令牌后,編譯器就會將DSL令牌轉換為HTML代碼,這些HTML代碼可以在任何瀏覽器中運行。
我決定使用BLEU分數來評估模型。這是機器翻譯任務中常用的一種度量標準,通過在給定相同輸入的情況下,衡量機器生成的文本與人類可能產生內容的近似程度。
實際上,BLEU通過比較生成文本和參考文本的N元序列,以創建修改后的準確版本。它非常適用于這個項目,因為它會影響生成HTML代碼中的實際元素,以及它們之間的相互關系。
最棒的是,我還可以通過檢查生成的網站來比較當前的實際BLEU分數。
△ 觀察BLEU分數
當BLEU分數為1.0時,則說明給定源圖像后該模型能在正確位置設置合適的元素,而較低的BLEU分數這說明模型預測了錯誤元素或是把它們放在相對不合適的位置。我們最終模型在評估數據集上的BLEU分數為0.76。
后來,我還想到,由于該模型只生成當前頁面的框架,即文本的令牌,因此我可以在編譯過程中添加一個定制的CSS層,并立刻得到不同風格的生成網站。
△ 一個手繪圖生成多種風格的網頁
把風格定制和模型生成兩個過程分開,在使用模型時帶來了很多好處:
1.如果想要將SketchCode模型應用到自己公司的產品中,前端工程師可以直接使用該模型,只需更改一個CSS文件來匹配該公司的網頁設計風格;
2. 該模型內置的可擴展性,即通過單一源圖像,模型可以迅速編譯出多種不同的預定義風格,因此用戶可以設想出多種可能的網站風格,并在瀏覽器中瀏覽這些生成網頁。
受到圖像標注研究的啟發,SketchCode模型能夠在幾秒鐘內將手繪網站線框圖轉換為可用的HTML網站。
但是,該模型還存在一些問題,這也是我接下來可能的工作方向:
1. 由于這個模型只使用了16個元素進行訓練,所以它不能預測這些數據以外的令牌。下一步方向可能是使用更多元素來生成更多的網站樣本,包括網站圖片,下拉菜單和窗體,可參考啟動程序組件(https://getbootstrap.com/docs/4.0/components/buttons/)來獲得思路;
2. 在實際網站構建中,存在很多變化。創建一個能更好反映這種變化的訓練集,是提高生成效果的一種好方法,可以通過獲取更多網站的HTML/CSS代碼以及內容截圖來提高;
3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個問題的一種好方法是使用生成對抗網絡GAN來創建更逼真的繪制網站圖像。
代碼:https://github.com/ashnkumar/sketch-code
原文:https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82
— 完 —
誠摯招聘
量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
?'?' ? 追蹤AI技術和產品新動態
*請認真填寫需求信息,我們會在24小時內與您取得聯系。