前語

介紹一款開源的數(shù)據(jù)庫同步軟件，因為日常的線上環(huán)境與測驗環(huán)境經(jīng)常出現(xiàn)頻頻的數(shù)據(jù)同步問題。有時分需求指定的數(shù)據(jù)庫，指定的數(shù)據(jù)表乃至指定的表字段進行同步，這時分就需求一款優(yōu)異的中間件來幫忙完成這件工作。在查閱幾款中間件，例如 Tapdata cloud（收費，免費沒有可視化界面）、DataX（僅支撐全量）、Canal（還需額外寫代碼？），最終敲定 DBSyncer，上手十分簡略。

一、介紹

DBSyncer 是一款開源的數(shù)據(jù)同步中間件，供給Mysql、Oracle、SqlServer、Elasticsearch(ES)、SQL(Mysql/Oracle/SqlServer)等同步場景。支撐上傳插件自定義同步轉(zhuǎn)換業(yè)務(wù)，供給監(jiān)控全量和增量數(shù)據(jù)統(tǒng)計圖、應(yīng)用功用預(yù)警等。

特點

• 組合驅(qū)動，自定義庫同步到庫組合，聯(lián)系型數(shù)據(jù)庫與非聯(lián)系型之間組合，任意調(diào)配表同步映射聯(lián)系

• 實時監(jiān)控，驅(qū)動全量或增量實時同步運轉(zhuǎn)狀況、成果、同步日志和體系日志

• 開發(fā)插件，自定義轉(zhuǎn)化同步邏輯

• 開源地址：gitee.com/ghi/dbsynce…

• 作者博客：my.oschina.net/dbsyncer

二、入門

2.1 環(huán)境安裝

按需求準(zhǔn)備好 java 環(huán)境后。

1、下載軟件

dbsyncer-1.2.2-RC_1201.zip

2、解壓文件 unzip

3、進入 bin 目錄發(fā)動安裝目錄

4、開發(fā) centos 的18686 端口

5、登錄 ip:18686 平臺，輸入 admin/admin

2.2 同步 Mysql 數(shù)據(jù)庫

2.2.1 增加連接和驅(qū)動

將 10.240.30.85 下的 test_db 庫 同步到 10.240.30.93 下的test_db 庫。

檢查數(shù)據(jù)庫是否開啟 binlog日志（原理仍是binlog日志）

> show binary logs;

• 增加連接

• 增加驅(qū)動

• 增量同步

• 點擊發(fā)動

2.2.2 無法發(fā)動問題

發(fā)現(xiàn)在進行增量同步、日志同步方法的時分會主動斷開，檢查日志錯誤信息如下：

com.github.shyiko.mysql.binlog.network.AuthenticationException: Client does not support authentication protocol requested by server;
consider upgrading MySQL client

從頭創(chuàng)立用戶：

create user 'dev_xl'@'%' identified by 'Dev@xl2021';
alter user 'dev_xl'@'%' IDENTIFIED with mysql_native_password by 'Dev@xl2021';
grant all privileges on *.* to 'dev_xl'@'%';
FLUSH PRIVILEGES;

然后運用這個賬戶進行裝備數(shù)據(jù)源。

2.2.3 更新表問題

在做同步的時分，如果增加完驅(qū)動后，在進行新增表，這時發(fā)現(xiàn)數(shù)據(jù)源表查不出來，可以進入驅(qū)動裝備頁面，從頭保存，然后回去看數(shù)據(jù)源表是否更新即可。

比如我新增一個 test 表后，點擊這個數(shù)據(jù)源發(fā)現(xiàn)查不出。

進入修正連接后保存即可。

2.3 測驗運用

在源頭表進行新增、刪去、修正測驗發(fā)現(xiàn)都能達(dá)到效果。

但對表 DDL 的操作時，發(fā)現(xiàn)未能進行結(jié)構(gòu)同步。

但全體上運用是十分簡略的，功用也很強大。