整合營銷服務商

          電腦端+手機端+微信端=數據同步管理

          免費咨詢熱線:

          GaussDB技術解讀系列之SQL Audit,面向應用開發的SQL審核工具

          本文分享自華為云社區《?GaussDB技術解讀系列之SQL Audit,面向應用開發的SQL審核工具-云社區-華為云》??,作者:華為云數據庫和應用遷移專家。

          前言

          我們先從一個SQL語句說起(以某傳統單機數據庫為例)。

          sql命名表_命名sql語法_sql數據庫命名規則

          也許這就是我們業務代碼中潛藏的一個SQL語句,對于一個普通開發者來說,這個語句編寫工整,邏輯清晰,沒有什么問題,可以直接推到代碼倉中交付上線。但是一個有經驗的開發者或數據庫管理員可能會發現這個SQL存在諸多的優化點:

          貌似經過上述的分析后,這個SQL可以煥然一新,在該數據庫上飛一樣地跑起來,但這就完了嗎?其實并沒有,在單機數據庫上也許已經優化到了極致,可當我們的數據庫是一個分布式數據庫呢?它可能又會帶來新的性能問題,我們要考慮where條件中的id是否是分布鍵,concat函數是否會影響算子的下推…...這一系列的問題都會產生。

          這實際就是我們所面臨的現狀,開發者的技術能力良莠不齊,DBA對數據庫知識的局限性導致爛SQL無處不在,而且隨著數據庫的不斷變更或演進,一些好的SQL也可能逐步變成需要優化的爛SQL, 我們要時刻不斷地找尋它們的蹤跡。

          SQL Audit審核工具介紹

          華為內部有很多業務部門,對傳統單機數據庫、MySQL、等各種數據庫都有深度的使用,也一直備受爛SQL的困擾,隨著GaussDB在內部業務系統的規模應用,現存SQL在GaussDB中能否高質量運行也面臨挑戰,于是我們開發了SQL Audit工具,根據公司內部各業務部門多年積累的SQL開發規范和GaussDB數據庫的優秀實踐,整理出SQL審核規則上百條,對命名規范、表結構/索引設計、SQL性能優化、分布鍵及算子下推等常見影響SQL質量的問題都可以做深入的分析和審核,同時我們又開發了一些插件,直接集成到開發的流水線中,自動從代碼倉獲取SQL語句,做到一鍵審核。

          SQL審核的核心流程可以分為以下三個階段:

          SQL獲取:即我們能從哪些渠道獲取到需要審核的SQL, 獲取能力決定了我們能否對開發中的代碼做更全面的審核;

          SQL語法解析:是針對具體的每一條SQL做語法樹的生成和分析;

          SQL規則審核:是拆解SQL語句的每一部分,和相關審核規則項逐一做匹配,找出待優化或風險點,最終形成審核報告。

          SQL獲取

          客戶通過SQL訪問數據庫的渠道多種多樣,客戶端工具、命令行、SQL腳本、應用代碼…...

          代碼開發又可以采用JDBC、ODBC、底層API調用等各種方式,SQL語句既可以直接在代碼中拼接,也可以通過配置文件(如:Mybatis),還可以通過ORM框架(如: )訪問數據庫,所以如果想要獲取到客戶的全部SQL是一件非常困難的事情。

          SQL Audit對當前大部分SQL使用場景進行了支持,而且還在持續擴大SQL能獲取的范圍,力求能夠全面地將客戶使用的所有SQL全部審核到,下圖是當前SQL Audit工具支持的SQL獲取范圍。

          sql數據庫命名規則_命名sql語法_sql命名表

          sql數據庫命名規則_sql命名表_命名sql語法

          手動輸入為客戶提供了一個簡單、易操作的平臺,客戶可以隨時把自己編寫的SQL語句輸入到SQL Audit工具中進行審核,根據審核結果直接對語句做調整,同時也可以將一個.sql文件整體上傳上來,進行批量的審核。

          sql數據庫命名規則_sql命名表_命名sql語法

          源代碼是爛SQL最主要的來源,但因其編程語言多種多樣(C/C++/JAVA/GO/PYTHON/SHELL…...),編寫方式也千奇百怪,所以很難將每種場景的SQL都獲取完整,我們將代碼中的SQL分成了三類:

          1) 源碼拼接SQL

          sql數據庫命名規則_sql命名表_命名sql語法

          通過拼接的方式生成SQL語句,拼接的過程可能會引入很多變量,這種情況無法獲取到完整的SQL,所以通過靜態文件提取SQL的方式會有很大缺陷,SQL Audit工具支持對Java代碼做語法解析,提取里面的SQL,對于其他語言的代碼目前暫不支持。

          2) 無SQL的ORM框架

          例如、等這些ORM框架無法從代碼中獲取到SQL語句,工具提供了基于Java二進制改寫技術,在JVM運行時動態監聽JDBC API,獲取SQL語句。

          3) 配置SQL的ORM

          很多業務系統基于Mybatis框架搭建訪問數據庫的能力,Mybatis通過注解或配置文件的方式編寫SQL語句,SQL Audit工具能夠對Mybatis的注解和配置文件進行深度解析,提取SQL成功率達99%以上。

          數據庫表結構、索引、約束的設計以及存儲過程、函數等PL/SQL的編寫對數據庫的性能起決定性作用,SQL Audit工具可以連接到數據庫,獲取數據庫中的全部對象定義,從設計的規范性(如:命名規范、長度/大小寫限制)、合理性(如:索引是否合理)和性能等方面進行考量,給出審核建議。

          為了更全面地獲取到發生在數據庫的SQL語句,從數據庫本身的日志層面著手也是一個比較可行的方案,解析數據庫的redo、開啟數據庫審計日志、查詢SQL緩存區等方式都能夠有效獲取到運行SQL,SQL Audit工具也支持通過數據庫日志獲取SQL語句的能力。

          為了解決從源代碼中無法獲取全部SQL的問題,我們開發了基于流量抓取的SQL審核能力,它能極大提升對SQL獲取的完整度。IP+端口作為數據庫對外的統一入口,基本可以包含客戶業務和運維所產生的全部SQL語句,通過對數據庫服務器端口的旁路監聽,獲取到網絡協議包,經過對數據庫網絡協議解析和重復SQL過濾,得到有效的SQL語句,最后將這些SQL傳入SQL Audit工具進行審核。

          sql數據庫命名規則_命名sql語法_sql命名表

          SQL解析

          SQL解析的過程就是將SQL語句按照語法規則解析成語法樹的過程,一般的解析過程分為詞法解析和語法解析,然后生成語法樹,大部分對SQL語句分析的工具都是直接遍歷語法樹實現的,SQL Audit工具沒有直接解析語法樹,而是增加了一個處理過程,將語法樹解析成Java描述類,后面所有的審核規則都是基于這個語法描述類進行,這樣大大提高對審核規則的開發效率,同時降低了開發難度。

          sql命名表_命名sql語法_sql數據庫命名規則

          SQL審核

          命名sql語法_sql命名表_sql數據庫命名規則

          審核的核心是審核規則,而審核規則的核心是對數據庫的理解+對客戶業務開發理解的實踐經驗總結,我們結合GaussDB數據庫的最佳實踐+公司內外部客戶的實際使用場景,整理出審核規則數百條,目前產品中已支持規則78條,包含了SQL開發過程中常見的規范和性能問題,后續會有更多的規則持續豐富到產品中。

          sql數據庫命名規則_命名sql語法_sql命名表

          SQL Audit同時提供了模板配置功能,客戶可以根據自身業務場景靈活地選擇需要審核的規則。

          SQL Audit審核流程如下圖所示:

          命名sql語法_sql命名表_sql數據庫命名規則

          當一個SQL輸入到SQL Audit中后,首先會對SQL進行語法解析,然后根據SQL中所依賴的表、視圖等對象,去數據庫中獲取元數據信息(列信息、索引信息等),如果這個SQL語句的性能可能受執行計劃的影響,則會再從數據庫中獲取該語句的執行計劃,綜合上述全部信息,逐一匹配每一個相關的規則進行審核,最終輸出全部違反規則項。

          實踐案例

          華為云內部某系統有一部分的業務代碼是基于JAVA的Mybatis框架開發,在將數據庫替換到GaussDB的過程中有大量的SQL做了兼容性改造,為保證改造后的SQL能夠高質量地在GaussDB數據庫中運行,該系統通過SQL Audit工具對整個代碼倉進行全面審核,同時在流水線中部署了SQL Audit審核插件,持續對增量代碼進行看護。SQL Audit發現了大量的不規范和低性能的SQL,提前規避了風險SQL流入到生產環境,開發人員根據SQL Audit的審核報告對代碼進行了優化,業務切換到GaussDB后持續穩定運行。

          以其中一個任務為例,該任務涉及SQL總數有1881個,審核出有問題的SQL有300多個。

          命名sql語法_sql命名表_sql數據庫命名規則

          審核結果統計報告

          sql命名表_sql數據庫命名規則_命名sql語法

          審核問題SQL詳情

          總結

          GaussDB在打造內核競爭力的同時,希望給客戶提供全流程、全鏈路,面向開發和運維的數據庫自動駕駛體驗。今年我們發布的SQL自動審核工具,在開發環節幫助客戶寫好SQL,拒絕爛SQL。

          未來,我們還將進一步支持對PL/SQL審核的支持,比如存儲過程、函數、觸發器、包等的審核,以及與AI大模型的結合,大模型在SQL語言的處理上已經做得很好,SQL Audit工具會和華為的盤古大模型進行對接,通過大模型的能力增強它的審核、優化和改寫能力。

          ??關注#華為云開發者聯盟# 點擊下方,第一時間了解華為云新鮮技術~??

          華為云博客_大數據博客_AI博客_云計算博客_開發者中心-華為云


          主站蜘蛛池模板: 一区二区三区精品视频| 精品黑人一区二区三区| 无码少妇一区二区| 午夜视频在线观看一区二区| 国精品无码A区一区二区| 亚洲AV无码一区二区三区电影 | 日韩人妻无码一区二区三区99| 成人精品一区二区三区校园激情| 亚洲美女视频一区二区三区 | 一区二区在线视频免费观看| 国产精品视频分类一区| 日韩精品一区二区亚洲AV观看| 韩国福利一区二区三区高清视频| 波多野结衣av高清一区二区三区| 国精产品一区一区三区MBA下载| 男女久久久国产一区二区三区| 国产免费一区二区视频| 日韩AV无码一区二区三区不卡毛片 | 免费无码一区二区三区蜜桃大 | 国产AV天堂无码一区二区三区| 国产成人久久一区二区不卡三区| 亚洲AV成人一区二区三区在线看| 久久亚洲日韩精品一区二区三区| 亚洲综合无码一区二区| 无码国产精品一区二区免费3p| 亚洲国产精品一区第二页| 精品一区二区三区免费| 亚洲AV无码一区二区乱孑伦AS| 精品亚洲综合在线第一区| 色久综合网精品一区二区| 色一乱一伦一图一区二区精品| 一区二区免费视频| 在线观看一区二区三区av| 中文字幕乱码人妻一区二区三区| 一区一区三区产品乱码| 国产免费av一区二区三区| 丰满岳妇乱一区二区三区| 国产成人无码AV一区二区| 在线播放国产一区二区三区 | 国产经典一区二区三区蜜芽| 中文字幕一区日韩精品|