1 场景规划

业务规划

数据同步场景中已部署两个数据库，包括源数据库MySQL（192.168.20.24）和目标数据库Kafka（192.168.20.21/22），现需通过搭建DMDRS，将源数据库RESOURCES模式下所有表的全量数据和增量数据同步到目标数据库Kafka的EMP和OTHERS的Topic。

• 源DMDRS：捕获源数据库的数据，将捕获到的数据发送到目标DMDRS。

• 目标DMDRS：将接收的数据同步到目标数据库Kafka。

网络规划

目录规划

源DMDRS服务和目标DMDRS服务相关的目录规划如下表所示。

2 设置DMDRS运行用户

1. 设置源DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限，并设置运行用户同数据库归档文件所在目录属同一用户组，此用户组应对归档文件所在目录及子目录有读权限。

2. 设置目标DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限。

3 设置环境变量

注意

• Kafka数据库的librdkafka驱动库文件已随执行程序放在执行程序目录下的kafka_lib目录下。
• 由于操作系统、终端不同，设置环境变量命令或操作步骤会略有差异。
• librdkafka驱动文件依赖于libsasl2.so动态库，不同操作系统上该动态库的版本号可能与librdkafka驱动依赖的版本号不同。
• 在Kerberoes安全认证环境下，librdkafka驱动文件依赖如下软件包：krb5-workstation（或krb5-client）, krb5-libs，cyrus-sasl-gssapi（或与其功能相当的cyrus-sasl系列软件包）。
• 在kerberos安全认证环境下，需要配置KRB5_CONFIG环境变量为kerberos配置文件的路径。
• 当使用schema registry服务时，除librdkafka驱动文件外，还需要将libserdes、libjansson、libavro驱动文件添加到环境变量。

在源DMDRS服务器的环境变量中添加MySQL C API驱动文件路径，在目标DMDRS的服务器的环境变量中添加librdkafka驱动文件路径。

1. 打开.bash_profile配置文件。

   $ vi ~/.bash_profile
   

2. 在.bash_profile配置文件末尾增加驱动路径。

   • 源DMDRS服务器环境变量中添加MySQL C API驱动路径。

     export LD_LIBRARY_PATH=<MySQL C API驱动路径>:$LD_LIBRARY_PATH
     

   • 目标DMDRS服务器环境变量中添加librdkafka驱动路径。

     export LD_LIBRARY_PATH=<librdkafka驱动路径>:$LD_LIBRARY_PATH
     

3. 保存并退出vi编辑器，使环境变量生效。

   $ source ~/.bash_profile
   

4. 查看环境变量是否设置成功。

   $ echo $LD_LIBRARY_PATH
   

4 开启源数据库的binlog日志

1. 设置MySQL数据库配置文件“my.ini”或“my.cnf”中server-id参数，设置log_bin参数值为mysql-bin，binlog_format参数值为row。当应用场景包含LOB数据的同步时，需要设置max_allowed_packet参数。

   [mysqld]
   server-id=1
   log_bin=mysql-bin
   binlog_format=row
   max_allowed_packet=100M
   

2. 重启数据库服务，使配置生效。

3. 查看数据库log_bin参数和binlog_format参数设置是否已生效。

   SQL> show variables like 'log_bin';
   SQL> show variables like 'binlog_format';
   

5 创建源数据库同步用户和配置用户权限

请根据《DMDRS搭建手册-MySQL》的创建数据库同步用户DMDRS和配置数据库同步用户最小权限创建源数据库的同步用户，并为数据库同步用户配置最小权限。

6 配置和启动目标DMDRS服务

介绍目标DMDRS服务的配置和启动方法。按顺序先启动目标DMDRS服务，再启动源DMDRS服务。

说明

以下DMDRS服务的配置文件仅为示例，在实际应用场景中，请根据实际搭建环境修改配置文件中的参数配置，具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。

1. 在目标DMDRS服务的配置文件目录，打开并修改exec.xml配置文件，修改后配置文件如下所示。

   注意

   配置文件中的siteid为必配参数，配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性，如果重复，会造成链路中数据复制的混乱。

   <?xml version="1.0" encoding="GB18030"?>
   <drs>
       <base>
           <mgr_port>5345</mgr_port>
           <siteid>站点号</siteid>
       </base>
       <exec>
           <name>exec_kafka</name>
           <login>
               <dbtype>kafka</dbtype>
               <producer_properties>/home/dmdrs/dmdrs5/bin/producer.properties</producer_properties>
           </login>
           <group>
               <item>
                   <id>0</id>
                   <topic_name>OTHERS</topic_name>
                   <json_format_path>/home/dmdrs/dmdrs5/bin/json_format.ini</json_format_path>
               </item>
               <item>
                   <id>1</id>
                   <topic_name>EMP</topic_name>
                   <json_format_path>/home/dmdrs/dmdrs5/bin/json_format.ini</json_format_path>
                   <desc>
                       <table>RESOURCES.EMP</table>
                       <table>RESOURCES.EMP_ADDR</table>
                   </desc>
               </item>
           </group>
       </exec>
   </drs>
   

   创建并修改producer.properties配置文件，修改后配置文件如下所示。此处仅展示基础示例，关于Kafka生产者属性的具体说明请参见Kafka生产者属性配置。

   bootstrap.servers=192.168.20.21:9092,192.168.20.22:9092
   

   当使用schema registry服务时，还需在producer.properties配置文件中配置schema.registry.url参数。

   schema.registry.url=http://192.168.20.21:8089
   

   创建并修改json_format.ini配置文件，修改后配置文件如下所示。请在使用前根据实际应用场景需求设计JSON串的打印格式并编写该配置文件。

   #DMDRS kafka json format Configuration file
   #This is a comment
   #common format control parameters
   OP_TIME_FORMAT          = (yyyy-mm-dd hh:mi:ss)
   CUR_TIME_FORMAT         = (yyyy-mm-dd hh:mi:ss)
   NULL_FORMAT             = "null"
   SET_QUOTA               = 0
   SET_ROWID_COL           = 0
   NEED_CRLF               = 1
   CHAR_REPLACE            =(",\"),(\,\\)
   NEW_VALUES              = ALL
   OLD_LOB_FLAG            = "empty_lob()"
   JSON_FORMAT_INS = {
                   "table":"#SCHEMA.#TABLE",
                   "op_type":"#OP_TYPE",
                   "op_ts":"#OP_TIME",
                   "current_ts":"#TIME",
                   "pos":"#POS",
                   "primary_keys":[#PRIMARY_KEY],
                   "after":{#NEW_VALUES}
   }
   JSON_FORMAT_UPD = {
                   "table":"#SCHEMA.#TABLE",
                   "op_type":"#OP_TYPE",
                   "op_ts":"#OP_TIME",
                   "current_ts":"#TIME",
                   "pos":"#POS",
                   "primary_keys":[#PRIMARY_KEY],
                   "before":{#OLD_VALUES},
                   "after":{#NEW_VALUES}
   }
   JSON_FORMAT_DEL = {
                   "table":"#SCHEMA.#TABLE",
                   "op_type":"#OP_TYPE",
                   "op_ts":"#OP_TIME",
                   "current_ts":"#TIME",
                   "pos":"#POS",
                   "primary_keys":[#PRIMARY_KEY],
                   "before":{#OLD_VALUES}
   }
   JSON_FORMAT_DDL = {
                   "table":"#SCHEMA.#TABLE",
                   "op_type":"#OP_TYPE",
                   "op_ts":"#OP_TIME",
                   "current_ts":"#TIME",
                   "pos":"#POS",      
                   "after":
                   {"DB_TYPE":"ORA",
                   "OBJECT_TYPE":"#OP_TYPE",
                   "OBJECT_NAME":"#SCHEMA.#TABLE",
                   "DDL_TEXT":"#DDL_SQL"}
   }
   

   注意

   当目标DMDRS服务与schema registry服务搭配使用时，json_format.ini配置文件的格式必须与schema匹配，且其对应的JSON必须有正确的JSON格式。默认的schema格式为CloudEvents Avro Schema，该格式的具体说明请参见CloudEvents官方文档。

2. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本模板的名称为DrsService。

   $ cp TemplateService ../DrsService
   

3. 打开并修改DrsService服务脚本中的相关配置参数。

   $ vi DrsService
   

   INSTALL_HOME=/home/dmdrs/dmdrs5
   PROG_DIR=/home/dmdrs/dmdrs5/bin
   CONF_PATH=/home/dmdrs/dmdrs5/bin/exec.xml
   EXEC_PROG_NAME=drsvr
   SERVICE_TYPE_NAME="drs server"
   

4. 启动目标DMDRS服务。

   $ ./DrsService start
   

7 配置和启动源DMDRS服务

说明

当源数据库为MySQL时，启动DMDRS服务前，需要检查MySQL数据库相关的环境，具体请参见《DMDRS搭建手册-MySQL》的数据库环境检查章节。

1. 在源DMDRS服务的配置文件目录，打开并修改cpt.xml配置文件，修改后配置文件如下所示。

   注意

   配置文件中的siteid为必配参数，配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性，如果重复，会造成链路中数据复制的混乱。

   <?xml version="1.0" encoding="GB18030"?>
   <drs>
       <base>
           <mgr_port>5345</mgr_port>
           <siteid>站点号</siteid>
       </base>
       <cpt>
           <name>cpt_mysql</name>
           <login>
               <dbtype>mysql</dbtype>
               <server>192.168.20.24</server>
               <dbname>RESOURCES</dbname>
               <user>DMDRS</user>
               <pwd>DMDRS</pwd>
               <port>3306</port>
           </login>
           <send>
               <ip>192.168.20.21</ip>
               <port>5345</port>
               <target_name>exec_kafka</target_name>
               <map>
                   <item>RESOURCES.*==RESOURCES.*</item>
               </map>
           </send>
       </cpt>
   </drs>
   

2. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本模板的名称为DrsService。

   $ cp TemplateService ../DrsService
   

3. 打开并修改DrsService服务脚本中的相关配置参数。

   $ vi DrsService
   

   INSTALL_HOME=/home/dmdrs/dmdrs5
   PROG_DIR=/home/dmdrs/dmdrs5/bin
   CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt.xml
   EXEC_PROG_NAME=drsvr
   SERVICE_TYPE_NAME="drs server"
   

4. 启动源DMDRS服务。

   $ ./DrsService start
   

5. 启动控制台。

   $ ./drcsl cpt.xml
   

6. 连接源DMDRS服务。

   CSL> connect
   

7. 设置数据库当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置，请参考《DMDRS控制台命令手册》进行设置。

   CSL> alter cpt_mysql set lsn
   

8. 启动源DMDRS服务中的CPT模块。

   CSL> start
   

8 添加同步表

1. 将源数据库中RESOURCES模式下所有的表添加同步，并在同步之前把源端表的全量数据装载到目标数据库。

   CSL> alter cpt_mysql add table "sch.name='RESOURCES'" 
   

2. 使用命令查看数据装载的监控信息，具体命令请参见《DMDRS控制台命令手册》。

9 验证同步结果

在源数据库中RESOURCES模式下所有的表中分别插入数据，如果插入的数据能正确地同步到目标数据库，则表示数据同步成功。