.Dinky介紹

1.1.介紹

Dinky 是一個開箱即用、易擴展，以 Apache Flink 為基礎，連接 OLAP 和數據湖等眾多框架的一站式實時計算平臺，致力于流批一體和湖倉一體的探索與實踐。

1.2.功能

1. 沉浸式 FlinkSQL 數據開發：自動提示補全、語法高亮、語句美化、在線調試、語法校驗、執行計劃、MetaStore、血緣分析、版本對比等
2. 支持 FlinkSQL 多版本開發及多種執行模式：Local、Standalone、Yarn/Kubernetes Session、Yarn Per-Job、Yarn/Kubernetes Application
3. 支持 Apache Flink 生態：Connector、FlinkCDC、Table Store 等
4. 支持 FlinkSQL 語法增強：表值聚合函數、全局變量、執行環境、語句合并、整庫同步等
5. 支持 FlinkCDC 整庫實時入倉入湖、多庫輸出、自動建表、模式演變
6. 支持 Flink Java / Scala / Python UDF 開發與自動提交
7. 支持 SQL 作業開發：ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、Presto、SqlServer、StarRocks 等
8. 支持實時在線調試預覽 Table、 ChangeLog、統計圖和 UDF
9. 支持 Flink Catalog、數據源元數據在線查詢及管理
10. 支持自動托管的 SavePoint/CheckPoint 恢復及觸發機制：最近一次、最早一次、指定一次等
11. 支持實時任務運維：上線下線、作業信息、集群信息、作業快照、異常信息、數據地圖、數據探查、歷史版本、報警記錄等
12. 支持作為多版本 FlinkSQL Server 以及 OpenApi 的能力
13. 支持實時作業報警及報警組：釘釘、微信企業號、飛書、郵箱等
14. 支持多種資源管理：集群實例、集群配置、Jar、數據源、報警組、報警實例、文檔、系統配置等
15. 支持企業級管理功能：多租戶、用戶、角色、命名空間等
16. 更多隱藏功能等待小伙伴們探索

1.3.概述

Dinky 作為 Apache Flink 的 FlinkSQL 的實時計算平臺，具有以下核心特點。

支持 Flink 原生語法、連接器、UDF 等： 幾乎零成本將 Flink 作業遷移至 Dinky。

增強 FlinkSQL 語法： 表值聚合函數、全局變量、CDC多源合并、執行環境、語句合并等。

支持 Flink 多版本： 支持作為多版本 FlinkSQL Server 的能力以及 OpenApi。

支持外部數據源的 DB SQL 操作： 如 ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、Presto、SqlServer、StarRocks 等。

支持實時任務運維： 作業上線下線、作業信息、集群信息、作業快照、異常信息、作業日志、數據地圖、即席查詢、歷史版本、報警記錄等。

1.4.管理控制臺介紹

Dinky 實時計算平臺開發模塊包括 數據開發、運維中心、注冊中心 和 系統設置 四大模塊。

1.5.數據開發

數據開發包括作業管理、作業配置和運維管理等

1.6.運維中心?

1.7.注冊中心?

注冊中心包括集群管理、Jar管理、數據源管理、報警管理和文檔管理

1.8.系統設置?

系統設置包括用戶管理和Flink設置

2.快速開始

2.1.環境準備

通過 dinky-mysql-server 和 dinky-standalone-server 鏡像快速體驗 Flink 實時計算平臺。

-啟動該鏡像提供 Dinky 的 Mysql 業務庫能力。

docker run --name dinky-mysql dinkydocker/dinky-mysql-server:0.7.2

-啟動該鏡像提供 Dinky 實時計算平臺。

docker run --restart=always -p 8888:8888 -p 8081:8081 -e MYSQL_ADDR=dinky-mysql:3306 --name dinky --link dinky-mysql:dinky-mysql dinkydocker/dinky-standalone-server:0.7.2-flink14

2.2.入門示例

2.2.1.創建作業

IP:8888 地址打開平臺并 admin/admin 登錄，創建 功能示例 目錄，創建 HelloWorld 的 FlinkSQL 作業。

執行模式選擇 Local 并輸入以下語句：

CREATE TABLE Orders ( order_number BIGINT, price DECIMAL(32,2), buyer ROW<first_name STRING, last_name STRING>, order_time TIMESTAMP(3) ) WITH ( 'connector'='datagen', 'rows-per-second'='1', 'number-of-rows'='50' ); select order_number,price,first_name,last_name,order_time from Orders

2.2.2.調試查詢

點擊 執行按鈕（執行當前的SQL），下方切換至 結果 選項卡，點擊 獲取最新數據 ，即可查看 Select 語句的執行結果。

2.3.作業教程

-FlinkSQL 操作步驟?

1.進入 Dinky 的 Data Studio

2.在左側菜單欄，右鍵 目錄

3.新建目錄或作業

4.在新建文件的對話框，填寫作業信息

參數說明備注作業名稱作業名稱在當前項目中必須保持唯一作業類型流作業和批作業均支持以下作業類型：FlinkSQL：支持SET、DML、DDL語法FlinkSQLEnv：支持SET、DDL語法FlinkSQLEnv 場景適用于所有作業的SET、DDL語法統一管理的場景，當前FlinkSQLEnv 在SQL編輯器的語句限制在1000行以內

5.在作業開發 SQL 編輯器，編寫 DDL 和 DML 代碼

示例代碼如下：

-創建源表datagen_source CREATE TABLE datagen_source( id BIGINT, name STRING ) WITH ( 'connector'='datagen' ); -創建結果表blackhole_sink CREATE TABLE blackhole_sink( id BIGINT, name STRING ) WITH ( 'connector'='blackhole' ); -將源表數據插入到結果表 INSERT INTO blackhole_sink SELECT id , name from datagen_source;

新建作業如下圖：

6.在作業開發頁面右側 執行配置，填寫配置信息

類型配置項備注作業配置執行模式區別詳見用戶手冊數據開發中的作業概述作業配置集群實例Standalone 和 Session 執行模式需要選擇集群實例，詳見集群實例管理作業配置集群配置Per-Job 和 Application 執行模式需要選擇集群配置，詳見集群配置管理作業配置FlinkSQL 環境選擇已創建的 FlinkSQLEnv，如果沒有則不選作業配置任務并行度指定作業級任務并行度，默認為 1作業配置Insert 語句集默認禁用，開啟后將 SQL編輯器中編寫的多個 Insert 語句合并為一個 JobGraph 進行提交作業配置全局變量默認禁用，開啟后可以使用數據源連接配置變量、自定義變量等作業配置批模式默認禁用，開啟后啟用 Batch Mode作業配置SavePoint 策略默認禁用，策略包括:最近一次最早一次指定一次作業配置報警組報警組配置詳見報警管理作業配置其他配置其他的 Flink 作業配置，具體可選參數，請參考 Flink 官網

作業配置如下圖：

2.4.作業提交

-功能說明

執行當前的 SQL： 提交執行未保存的作業配置，并可以同步獲取 SELECT、SHOW 等執行結果，常用于 Local、Standalone、Session 執行模式；

異步提交： 提交執行最近保存的作業配置，可用于所有執行模式；

發布 發布當前作業的最近保存的作業配置，發布后無法修改；

上線 提交已發布的作業配置，可觸發報警；

下線 停止已上線的作業，并觸發 SavePoint；

停止 只停止已提交的作業；

維護 使已發布的作業進入維護狀態，可以被修改；

注銷 標記作業為注銷不可用狀態。

-常用場景

查看 FlinkSQL 執行結果： 執行當前的 SQL。

提交作業： 異步提交。

上線作業： SavePoint 最近一次 + 上線。

下線作業： 下線。

升級作業： 下線后上線。

全新上線作業： SavePoint 禁用 + 上線。

-Flink作業啟動操作步驟

1.首先登錄Dinky數據開發控制臺

2.在左側菜單欄選擇目錄 > 作業名稱 > 檢查當前的FlinkSql > 發布 > 上線

或者選擇目錄 > 作業名稱 > 檢查當前的FlinkSql > 異步提交

作業啟動異步提交如下圖：

作業啟動發布上線如下圖：

2.5.作業調試

可以選擇使用 Standalone 或 Session 集群在開發測試環境對作業調試，如作業運行、檢查結果等。配置 Standalone 或 Session 集群請參考注冊中心中集群管理的集群實例管理。

也可以調試普通的 DB SQL 作業。

FlinkSQL作業調試步驟

1.進入 Data Studio

2.點擊 目錄 > 新建目錄 > 新建作業

3.填寫完作業信息后，單擊 確認，作業類型選擇 FlinkSQL

4.編寫完整的 FlinkSQL 語句，包含 CREATE TABLE 等

示例代碼如下：

-創建源表datagen_source CREATE TABLE datagen_source( id BIGINT, name STRING ) WITH ( 'connector'='datagen' ); -將源表數據插入到結果表 SELECT id BIGINT, name STRING from datagen_source

5.單擊保存

6.單擊語法檢查

7.配置執行配置

配置項 說明

預覽結果 默認開啟，可預覽 FlinkSQL 的執行結果

打印流 默認禁用，開啟后將展示 ChangeLog

最大行數 默認 100，可預覽的執行結果最大的記錄數

自動停止 默認禁用，開啟后達到最大行數將停止作業

注意： 預覽聚合結果如 count 等操作時，關閉打印流可合并最終結果。

8.單擊執行當前的SQL

9.結果 或者 歷史 > 預覽數據 可以手動查詢最新的執行結果

2.6.FlinkSQL 預覽結果的必要條件

1.執行模式必須是 Local、Standalone、Yarn Session、Kubernetes Session 其中的一種；

2.必須關閉 Insert 語句集；

3.除 SET 和 DDL 外，必須只提交一個 SELECT 或 SHOW 或 DESC 語句；

4.必須開啟 預覽結果；

5.作業必須是提交成功并且返回 JID，同時在遠程集群可以看到作業處于 RUNNING 或 FINISHED 狀態；

6.Dinky 重啟后，之前的預覽結果將失效

2.7.DB SQL 調試

選擇對應數據源，并書寫其 sql 執行即可。

3.SQL 快速入門

3.1.Flink SQL 作業快速入門

Dinky 是基于 Flink 的流批一體化數據匯聚、數據同步的實時計算平臺，通過閱讀本文檔，您將可以零基礎上手實時計算平臺 Dinky 。

3.1.1創建集群配置或集群實例

首先，登錄 Dlinky，選擇注冊中心>>集群管理>>集群實例管理或集群配置管理，點擊新建 Flink 集群

-創建作業

選擇數據開發>>目錄，首先點擊創建目錄，點擊創建好的目錄右鍵即可創建作業

3.1.2.集群實例

Dinky 推薦您在使用 Yarn Session、K8s Session、StandAlone 采用集群實例的方式注冊集群。

1.可通過數據開發中的快捷引導注冊集群實例?；蛘咄ㄟ^注冊中心中的集群管理注冊集群實例。

2.添加 Flink 集群

-集群配置

Dinky 推薦您在使用 Yarn Per Job、Yarn Application、K8s Application 采用集群配置的方式注冊集群。

1.可通過數據開發中的快捷引導注冊集群配置。或者通過注冊中心中的集群管理注冊集群配置。

2.添加集群配置

3.1.3.作業開發

-創建集群完成后，就可進一步開發 FlinkSQL 作業

-腳本選用 Flink 官網提供的 SQL 腳本，參考鏈接如下：

https://github.com/ververica/flink-sql-cookbook

-下載 flink-faker 放入$FLINK_HOME/lib下及Dlinky的plugins下

https://github.com/knaufk/flink-faker/releases

3.1.3.1.FlinkSQL 作業創建?

下面創建一個作業名稱為"test66"的作業

創建完成后，即可在"test66"作業下寫 SQL 及 配置作業參數

3.1.3.2.FlinkSQL 語句編寫

FlinkSQL 作業編寫，分為三部分內容，分別是 SET 參數設置、DDL 語句編寫、DML 語句編寫。下面以Inserting Into Tables 為例。

3.1.3.3.作業配置

當 FlinkSQL 編寫完成后，即可進行作業的配置。作業配置的詳細說明詳見用戶手冊的作業基礎配置

在作業配置中，您可以選擇作業執行模式、Flink 集群、SavePoint策略等配置，對作業進行提交前的配置。

3.1.3.4.SQL查詢預覽

上述 FlinkSQL 作業配置完成后，可以對 SQL 做查詢預覽。

點擊執行配置，開啟打印流，保存。點擊執行當前的SQL。即可獲取到最新結果。

3.1.3.5.發布運行作業

在數據寫入 Sink 端時，Dlinky 提供了異步提交 和 上線發布功能，將其作業提交到遠程集群

3.1.3.6.查看作業運行情況

當作業提交到遠程集群后，您可以在運維中心查看作業的運行情況。

3.1.3.7.作業開發指引

3.2.DB SQL 作業快速入門

3.2.1.創建數據源

選擇注冊中心>>數據源管理>>新建，假設您連接Doris。

測試創建成功后，顯示如下

3.2.2.創建作業

點擊數據開發>>目錄>>右鍵，出現創建作業菜單。作業類型選擇Doris

3.2.3.作業配置

作業創建完成后，在最右側會出現數據源，選擇連接的數據源

3.2.4.ETL 作業編寫

外部數據源可以創建 DDL、DML語句對其進行ETL開發。

3.2.5.作業提交運行

當 ETL 開發結束 或者做即席查詢時，可以點擊保存>>語法檢查>>運行當前的SQL 將 SQL 提交。

4.數據集成指南

目前通過 FlinkCDC 進行會存在諸多問題，如需要定義大量的 DDL 和編寫大量的 INSERT INTO，更為嚴重的是會占用大量的數據庫連接，對 Mysql 和網絡造成壓力。

Dinky 定義了 CDCSOURCE 整庫同步的語法，該語法和 CDAS 作用相似，可以直接自動構建一個整庫入倉入湖的實時任務，并且對 source 進行了合并，不會產生額外的 Mysql 及網絡壓力，支持對任意 sink 的同步，如 kafka、doris、hudi、jdbc 等等

?

4.1.原理

4.1.1.source合并

?Dinky 采用的是只構建一個 source，然后根據 schema、database、table 進行分流處理，分別 sink 到對應的表。

4.1.2.元數據映射

Dinky 是通過自身的數據源中心的元數據功能捕獲源庫的元數據信息，并同步構建 sink 階段 datastream 或 tableAPI 所使用的 FlinkDDL。

4.1.3.多種 sink 方式

Dinky 提供了各式各樣的 sink 方式，通過修改語句參數可以實現不同的 sink 方式。Dinky 支持通過 DataStream 來擴展新的 sink，也可以使用 FlinkSQL 無需修改代碼直接擴展新的 sink。

4.2.環境準備

4.2.1.作業配置

禁用全局變量、禁用語句集、禁用批模式。

4.2.2.Flink 版本區分

目前 dlink-client-1.14 內的整庫同步能力最多且主要維護，如果要使用其他 flink 版本的整庫同步，如果 SQLSink 不滿足需求，需要DataStreamSink 支持，請手動仿照 dlink-client-1.14 擴展相應代碼實現，很簡單。

4.2.3.其他 FlinkCDC 支持

目前 dlink-client-1.14 內默認實現常用的 Flink CDC，如 MysqlCDC、OracleCDC、PostgresCDC 和 SQLServerCDC，如果要使用其他 FlinkCDC，請在 Dinky 源碼中仿照 MysqlCDC 進行擴展，很簡單。

4.2.4.依賴上傳

由于 CDCSOURCE 是 Dinky 封裝的新功能，Apache Flink 源碼不包含，非 Application 模式提交需要在遠程 Flink 集群所使用的依賴里添加一下依賴：

# 將下面 Dinky根目錄下 整庫同步依賴包放置 $FLINK_HOME/lib下

lib/dlink-client-base-${version}.jar

lib/dlink-common-${version}.jar

plugins/flink-${flink-version}/dlink-client-${version}.jar

4.2.5.Application 模式提交

目前已經支持 application ，需提前準備好相關jar包，或者和 add jar語法并用。以 mysqlcdc-2.3.0 和 flink-1.14 為例，需要以下 jar

flink-shaded-guava-18.0-13.0.jar

HikariCP-4.0.3.jar

druid-1.2.8.jar

dlink-metadata-mysql-0.7.2.jar

dlink-metadata-base-0.7.2.jar

jackson-datatype-jsr310-2.13.4.jar

flink-sql-connector-mysql-cdc-2.3.0.jar

dlink-client-1.14-0.7.2.jar

cdcsource_example.png

4.2.6.注意事項

一個 FlinkSQL 任務只能寫一個 CDCSOURCE，CDCSOURCE 前可寫 set、add jar 和 ddl 語句。

配置項中的英文逗號前不能加空格，需要緊隨右單引號。

4.3.配置

配置項 是否必須 默認值 說明 connector 是 無 指定要使用的連接器 hostname 是 無 數據庫服務器的 IP 地址或主機名 port 是 無 數據庫服務器的端口號 username 是 無 連接到數據庫服務器時要使用的數據庫的用戶名 password 是 無 連接到數據庫服務器時要使用的數據庫的密碼 scan.startup.mode 否 latest-offset 消費者的可選啟動模式，有效枚舉為“initial”和“latest-offset” database-name 否 無 此參數非必填 table-name 否 無 只支持正則,示例:"test\.student,test\.score"，所有表示例:"test\..*" source.* 否 無 指定個性化的 CDC 配置，如 source.server-time-zone 即為 server-time-zone 配置參數。 checkpoint 否 無 單位 ms parallelism 否 無 任務并行度 sink.connector 是 無 指定 sink 的類型，如 datastream-kafka、datastream-doris、datastream-hudi、kafka、doris、hudi、jdbc 等等，以 datastream- 開頭的為 DataStream 的實現方式 sink.sink.db 否 無 目標數據源的庫名，不指定時默認使用源數據源的庫名 sink.table.prefix 否 無 目標表的表名前綴，如 ODS 即為所有的表名前拼接 ODS sink.table.suffix 否 無 目標表的表名后綴 sink.table.upper 否 false 目標表的表名全大寫 sink.table.lower 否 false 目標表的表名全小寫 sink.auto.create 否 false 目標數據源自動建表，目前只支持 Mysql，其他可自行擴展 sink.timezone 否 UTC 指定目標數據源的時區，在數據類型轉換時自動生效 sink.column.replace.line-break 否 false 指定是否去除換行符，即在數據轉換中進行 REGEXP_REPLACE(column, '\n', '') sink.* 否 無 目標數據源的配置信息，同 FlinkSQL，使用 ${schemaName} 和 ${tableName} 可注入經過處理的源表名 sink[N].* 否 無 N代表為多數據源寫入, 默認從0開始到N, 其他配置參數信息參考sink.*的配置.

4.4.示例

4.4.1.整庫同步到 Mysql

該示例為將 mysql 整庫同步到另一個 mysql 數據庫，寫入 test 庫，表名前綴 test_，表名全小寫，開啟自動建表。

EXECUTE CDCSOURCE cdc_mysql WITH ( 'connector'='mysql-cdc', 'hostname'='127.0.0.1', 'port'='3306', 'username'='root', 'password'='123456', 'checkpoint'='3000', 'scan.startup.mode'='initial', 'parallelism'='1', 'table-name'='bigdata\.products,bigdata\.orders', 'sink.connector'='jdbc', 'sink.url'='jdbc:mysql://127.0.0.1:3306/test?characterEncoding=utf-8&useSSL=false', 'sink.username'='root', 'sink.password'='123456', 'sink.sink.db'='test', 'sink.table.prefix'='test_', 'sink.table.lower'='true', 'sink.table-name'='${tableName}', 'sink.driver'='com.mysql.jdbc.Driver', 'sink.sink.buffer-flush.interval'='2s', 'sink.sink.buffer-flush.max-rows'='100', 'sink.sink.max-retries'='5', 'sink.auto.create'='true'

4.4.2.整庫同步到 Oracle

該示例將 Oracle 數據庫 TEST 下所有表同步到該數據庫的 TEST2下。

EXECUTE CDCSOURCE cdc_oracle WITH ( 'connector'='oracle-cdc', 'hostname'='127.0.0.1', 'port'='1521', 'username'='root', 'password'='123456', 'database-name'='ORCL', 'checkpoint'='3000', 'scan.startup.mode'='initial', 'parallelism'='1', 'table-name'='TEST\..*', 'connector'='jdbc', 'url'='jdbc:oracle:thin:@127.0.0.1:1521:orcl', 'username'='root', 'password'='123456', 'table-name'='TEST2.${tableName}' )

4.4.3.整庫同步到 Kafka

匯總到一個 topic

當指定 sink.topic 參數時，所有 Change Log 會被寫入這一個 topic。

EXECUTE CDCSOURCE cdc_kafka_one WITH ( 'connector'='mysql-cdc', 'hostname'='127.0.0.1', 'port'='3306', 'username'='root', 'password'='123456', 'checkpoint'='3000', 'scan.startup.mode'='initial', 'parallelism'='1', 'table-name'='bigdata\.products,bigdata\.orders', 'sink.connector'='datastream-kafka', 'sink.topic'='cdctest', 'sink.brokers'='bigdata2:9092,bigdata3:9092,bigdata4:9092' )

同步到對應 topic?

當不指定 sink.topic 參數時，所有 Change Log 會被寫入對應庫表名的 topic。

EXECUTE CDCSOURCE cdc_kafka_mul WITH ( 'connector'='mysql-cdc', 'hostname'='127.0.0.1', 'port'='3306', 'username'='root', 'password'='123456', 'checkpoint'='3000', 'scan.startup.mode'='initial', 'parallelism'='1', 'table-name'='bigdata\.products,bigdata\.orders', 'sink.connector'='datastream-kafka', 'sink.brokers'='bigdata2:9092,bigdata3:9092,bigdata4:9092' )

使用 FlinkSQL 同步到對應 topic

EXECUTE CDCSOURCE cdc_upsert_kafka WITH ( 'connector'='mysql-cdc', 'hostname'='127.0.0.1', 'port'='3306', 'username'='root', 'password'='123456', 'checkpoint'='3000', 'scan.startup.mode'='initial', 'parallelism'='1', 'table-name'='bigdata\.products,bigdata\.orders', 'sink.connector'='upsert-kafka', 'sink.topic'='${tableName}', 'sink.properties.bootstrap.servers'='bigdata2:9092,bigdata3:9092,bigdata4:9092', 'sink.key.format'='avro', 'sink.value.format'='avro' )

4.4.4.整庫同步到 ClickHouse

EXECUTE CDCSOURCE cdc_clickhouse WITH ( 'connector'='mysql-cdc', 'hostname'='127.0.0.1', 'port'='3306', 'username'='root', 'password'='123456', 'checkpoint'='3000', 'scan.startup.mode'='initial', 'parallelism'='1', 'table-name'='bigdata\.products,bigdata\.orders', 'sink.connector'='clickhouse', 'sink.url'='clickhouse://127.0.0.1:8123', 'sink.username'='default', 'sink.password'='123456', 'sink.sink.db'='test', 'sink.table.prefix'='test_', 'sink.table.lower'='true', 'sink.database-name'='test', 'sink.table-name'='${tableName}', 'sink.sink.batch-size'='500', 'sink.sink.flush-interval'='1000', 'sink.sink.max-retries'='3' )

4.4.5.整庫同步到兩個數據源

EXECUTE CDCSOURCE jobname WITH ( 'connector'='mysql-cdc', 'hostname'='127.0.0.1', 'port'='3306', 'username'='root', 'password'='123456', 'checkpoint'='3000', 'scan.startup.mode'='initial', 'parallelism'='1', 'table-name'='test\.student,test\.score', 'sink[0].connector'='doris', 'sink[0].fenodes'='127.0.0.1:8030', 'sink[0].username'='root', 'sink[0].password'='dw123456', 'sink[0].sink.batch.size'='1', 'sink[0].sink.max-retries'='1', 'sink[0].sink.batch.interval'='60000', 'sink[0].sink.db'='test', 'sink[0].table.prefix'='ODS_', 'sink[0].table.upper'='true', 'sink[0].table.identifier'='${schemaName}.${tableName}', 'sink[0].sink.label-prefix'='${schemaName}_${tableName}_1', 'sink[0].sink.enable-delete'='true', 'sink[1].connector'='datastream-kafka', 'sink[1].topic'='cdc', 'sink[1].brokers'='127.0.0.1:9092' )

5.使用手冊

6.開發者指南-本地調試

6.1.前置條件?

在搭建Dinky開發環境之前請確保你已經安裝如下軟件

• Git:版本控制軟件
• JDK：后端開發
• Maven：Java包管理
• Node:前端開發;

6.2.環境要求?

環境版本npm7.19.0node.js14.17.0jdk1.8maven3.6.0+lombokIDEA插件安裝mysql5.7+

6.3.代碼克隆?

請通過 git 管理工具從 GitHub 中拉取 Dinky 源碼

mkdir workspace

cd workspace

git clone https://github.com/DataLinkDC/dlink.git

6.4.安裝 Lombok 插件?

IDEA 提供了插件設置來安裝 Lombok 插件。如果尚未安裝，請在導入 Dlink 之前按照以下說明來進行操作以啟用對 Lombok 注解的支持：

1. 轉到 IDEA Settings → Plugins 并選擇 Marketplace 。
2. 選擇并安裝 Lombok 插件。
3. 如果出現提示，請重啟 IDEA 。

6.5.導入 Dinky?

1. 啟動 IDEA 并選擇 Open。
2. 選擇已克隆的 Dlink 存儲庫的根文件夾。
3. 等待項目加載完成。
4. 設置 JDK 1.8 和 Maven 3.6.0。

6.6.前端環境

安裝 node.js, 安裝 npm

因 node.js 安裝后 npm 版本較高，因此需要可用版本 7.19.0，升級npm命令如下：

npm install npm@7.19.0 -g

初始化依賴

npm install --force

6.7.源碼編譯

IDEA 里 Build → Build Project

6.8.打包

mvn clean install -Dmaven.test.skip=true

# 如若修改版本，按以下指定即可。flink可支持多版本(1.11-1.16)

mvn clean install -Dmaven.test.skip=true -P pord,scala-2.11,flink-1.14,flink-1.15

# 如若不需要web編譯,-P 后面加: `!web`

mvn clean install -Dmaven.test.skip=true -P !web,pord,scala-2.11,flink-1.14,flink-1.15

6.9.修改pom文件

需要修改 dlink根目錄下的pom文件，下面以本地開發為例，修改如下：

<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>${target.java.version}</maven.compiler.source> <maven.compiler.target>${target.java.version}</maven.compiler.target> <!-- `provided` for product environment ,`compile` for dev environment --> <scope.runtime>compile</scope.runtime> </properties>

6.10.修改配置文件

修改dlink根目錄下/dlink-admin/src/main/resources/application.ym文件

配置數據庫連接信息：

spring: datasource: url: jdbc:mysql://127.0.0.1:3306/dlink?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true username: dlink password: dlink driver-class-name: com.mysql.cj.jdbc.Driver

6.11.初始化數據庫

在MySQL數據庫創建 dlink 用戶并在 dlink 數據庫中執行 script/sql/dinky-mysql.sql 文件。此外 script/sql/upgrade 目錄下存放了了各版本的升級 sql 請依次按照版本號執行。

6.12.啟動后端服務

啟動 dlink-admin 下的 Dlink 啟動類，可見 8888 端口。

稍微等待一會，即可訪問 127.0.0.1:8888 可見登錄頁。

登錄用戶/密碼: admin/admin

7.升級指南

7.1.后端編譯包升級

下載最新的編譯包,對比一下 安裝目錄/config 下的文件，主要是 application.yml ，如果沒用到最新特性，在最新版中修改一下mysql連接配置即可, 如果需要使用新特性，相關配置看相關文檔描述即可

7.2.數據庫 SQL 升級

-- 注意: 按照版本號依次升級 切不可跨版本升級 ${version} 代表的是你目前的 dinky版本+1 依次往下執行

- 其中 /opt/dinky 是你dinky安裝的目錄

mysql> source /opt/dinky/sql/upgrade/${version}_schema/mysql/dinky_ddl.sql

-- 表的ddl

mysql> source /opt/dinky/sql/upgrade/${version}_schema/mysql/dinky_dml.sql

-- 表初始化數據 (部分版本無)

完

 
function(r, c, s, pixels, ldim) { /* ... */}
 /*
 ...
 */
}

 
var facefinder_classify_region=function(r, c, s, pixels, ldim) {return -1.0;};var cascadeurl='https://raw.githubusercontent.com/nenadmarkus/pico/c2e81f9d23cc11d1a612fd21e4f9de0921a5d0d9/rnt/cascades/facefinder';fetch(cascadeurl).then(function(response) { response.arrayBuffer().then(function(buffer) { var bytes=new Int8Array(buffer); facefinder_classify_region=pico.unpack_cascade(bytes); console.log('* cascade loaded'); })})function(r, c, s, pixels, ldim) {return -1.0;};
var cascadeurl='https://raw.githubusercontent.com/nenadmarkus/pico/c2e81f9d23cc11d1a612fd21e4f9de0921a5d0d9/rnt/cascades/facefinder';
fetch(cascadeurl).then(function(response) {
 response.arrayBuffer().then(function(buffer) {
 var bytes=new Int8Array(buffer);
 facefinder_classify_region=pico.unpack_cascade(bytes);
 console.log('* cascade loaded');
 })
})

 
var img=document.getElementById('image');var ctx=document.getElementById('canvas').getContext('2d');ctx.drawImage(img, 0, 0);var rgba=ctx.getImageData(0, 0, 480, 360).data; // the size of the image is 480x360 (width x height)document.getElementById('image');
var ctx=document.getElementById('canvas').getContext('2d');
ctx.drawImage(img, 0, 0);
var rgba=ctx.getImageData(0, 0, 480, 360).data; // the size of the image is 480x360 (width x height)

 
function rgba_to_grayscale(rgba, nrows, ncols) { var gray=new Uint8Array(nrows*ncols); for(var r=0; r<nrows; ++r) for(var c=0; c<ncols; ++c) // gray=0.2*red + 0.7*green + 0.1*blue gray[r*ncols + c]=(2*rgba[r*4*ncols+4*c+0]+7*rgba[r*4*ncols+4*c+1]+1*rgba[r*4*ncols+4*c+2])/10; return gray;}
 var gray=new Uint8Array(nrows*ncols);
 for(var r=0; r<nrows; ++r)
 for(var c=0; c<ncols; ++c)
 // gray=0.2*red + 0.7*green + 0.1*blue
 gray[r*ncols + c]=(2*rgba[r*4*ncols+4*c+0]+7*rgba[r*4*ncols+4*c+1]+1*rgba[r*4*ncols+4*c+2])/10;
 return gray;
}

 
image={ "pixels": rgba_to_grayscale(rgba, 360, 480), "nrows": 360, "ncols": 480, "ldim": 480}params={ "shiftfactor": 0.1, // move the detection window by 10% of its size "minsize": 20, // minimum size of a face "maxsize": 1000, // maximum size of a face "scalefactor": 1.1 // for multiscale processing: resize the detection window by 10% when moving to the higher scale}// run the cascade over the image// dets is an array that contains (r, c, s, q) quadruplets// (representing row, column, scale and detection score)dets=pico.run_cascade(image, facefinder_classify_region, params);"pixels": rgba_to_grayscale(rgba, 360, 480),
 "nrows": 360,
 "ncols": 480,
 "ldim": 480
}
params={
 "shiftfactor": 0.1, // move the detection window by 10% of its size
 "minsize": 20, // minimum size of a face
 "maxsize": 1000, // maximum size of a face
 "scalefactor": 1.1 // for multiscale processing: resize the detection window by 10% when moving to the higher scale
}
// run the cascade over the image
// dets is an array that contains (r, c, s, q) quadruplets
// (representing row, column, scale and detection score)
dets=pico.run_cascade(image, facefinder_classify_region, params);

 
qthresh=5.0for(i=0; i<dets.length; ++i) // check the detection score // if it's above the threshold, draw it if(dets[i][3]>qthresh) { ctx.beginPath(); ctx.arc(dets[i][1], dets[i][0], dets[i][2]/2, 0, 2*Math.PI, false); ctx.lineWidth=3; ctx.strokeStyle='red'; ctx.stroke(); }<dets.length; ++i)
 // check the detection score
 // if it's above the threshold, draw it
 if(dets[i][3]>qthresh)
 {
 ctx.beginPath();
 ctx.arc(dets[i][1], dets[i][0], dets[i][2]/2, 0, 2*Math.PI, false);
 ctx.lineWidth=3;
 ctx.strokeStyle='red';
 ctx.stroke();
 }

 
dets=pico.cluster_detections(dets, 0.2); // set IoU threshold to 0.20.2); // set IoU threshold to 0.2

 
var update_memory=pico.instantiate_detection_memory(5); // f is set to 5 in this example// f is set to 5 in this example

 
dets=pico.run_cascade(image, facefinder_classify_region, params);dets=update_memory(dets); // accumulates detections from last f framesdets=pico.cluster_detections(dets, 0.2); // set IoU threshold to 0.2
dets=update_memory(dets); // accumulates detections from last f frames
dets=pico.cluster_detections(dets, 0.2); // set IoU threshold to 0.2