达梦数据复制软件DMDRS搭建部署示例：DM8到Kafka数据迁移

1 场景规划

业务规划

数据同步场景中已部署两个数据库，包括源数据库DM8（192.168.20.24）和目标数据库Kafka（192.168.20.21/22），现需通过搭建DMDRS，将源数据库RESOURCES模式下所有表的全量数据迁移到目标数据库Kafka的EMP和OTHERS的Topic。

DM8Kafka数据迁移一对一.png

源DMDRS：捕获源数据库的数据，将捕获到的数据发送到目标DMDRS。
目标DMDRS：将接收的数据同步到目标数据库Kafka。

网络规划

DMDRS服务	IP地址和端口	连接数据库	说明
源DMDRS	192.168.20.24:5345	源数据库 DM8 192.168.20.24:5236	源DMDRS服务器需要安装DMDPI驱动与源数据库DM8连接。
目标DMDRS	192.168.20.21:5345	目标数据库 Kafka 节点1：192.168.20.21:9092 节点2：192.168.20.22:9092	目标DMDRS服务器需要安装librdkafka驱动与目标数据库Kafka连接。

目录规划

源数据库、源DMDRS服务和目标DMDRS服务相关的目录规划如下表所示。

目录类型	目录名	目录示例
源数据库	数据库归档文件目录	/dm8/data/arch
源数据库	数据库DDL同步脚本目录	/home/dmdrs/dmdrs5/bin/scripts
源DMDRS服务	安装目录	/home/dmdrs/dmdrs5
	执行程序目录	/home/dmdrs/dmdrs5/bin
	配置文件路径	/home/dmdrs/dmdrs5/bin/cpt.xml
	服务脚本模板目录	/home/dmdrs/dmdrs5/bin/service_template
	服务脚本目录	/home/dmdrs/dmdrs5/bin
	console远程控制工具	/home/dmdrs/dmdrs5/bin/drcsl
目标DMDRS服务	安装目录	/home/dmdrs/dmdrs5
	执行程序目录	/home/dmdrs/dmdrs5/bin
	配置文件路径	/home/dmdrs/dmdrs5/bin/exec.xml
	服务脚本模板目录	/home/dmdrs/dmdrs5/bin/service_template
	服务脚本目录	/home/dmdrs/dmdrs5/bin
	console远程控制工具	/home/dmdrs/dmdrs5/bin/drcsl
	librdkafka驱动目录	/home/dmdrs/dmdrs5/bin/kafka_lib

2 设置DMDRS运行用户

设置源DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限，并设置运行用户同数据库归档文件所在目录属同一用户组，此用户组应对归档文件所在目录及子目录有读权限。
设置目标DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限。

3 设置环境变量

注意

Kafka数据库的librdkafka驱动库文件已随执行程序放在执行程序目录下的kafka_lib目录下。

由于操作系统、终端不同，设置环境变量命令或操作步骤会略有差异。

librdkafka驱动文件依赖于libsasl2.so动态库，不同操作系统上该动态库的版本号可能与librdkafka驱动依赖的版本号不同。

在Kerberoes安全认证环境下，librdkafka驱动文件依赖如下软件包：krb5-workstation（或krb5-client）, krb5-libs，cyrus-sasl-gssapi（或与其功能相当的cyrus-sasl系列软件包）。

在kerberos安全认证环境下，需要配置KRB5_CONFIG环境变量为kerberos配置文件的路径。

当使用schema registry服务时，除librdkafka驱动文件外，还需要将libserdes、libjansson、libavro驱动文件添加到环境变量。

在源DMDRS服务器的环境变量中添加DMDPI驱动文件路径，在目标DMDRS的服务器的环境变量中添加librdkafka驱动文件路径。

打开.bash_profile配置文件。
```
$ vi ~/.bash_profile
```
在.bash_profile配置文件末尾增加驱动路径。
- 源DMDRS服务器环境变量中添加DMDPI驱动路径。
```
export LD_LIBRARY_PATH=<DMDPI驱动路径>:$LD_LIBRARY_PATH
```
- 目标DMDRS服务器环境变量中添加librdkafka驱动路径。
```
export LD_LIBRARY_PATH=<librdkafka驱动路径>:$LD_LIBRARY_PATH
```
保存并退出vi编辑器，使环境变量生效。
```
$ source ~/.bash_profile
```
查看环境变量是否设置成功。
```
$ echo $LD_LIBRARY_PATH
```

4 配置和启动目标DMDRS服务

介绍目标DMDRS服务的配置和启动方法。按顺序先启动目标DMDRS服务，再启动源DMDRS服务。

说明
以下DMDRS服务的配置文件仅为示例，在实际应用场景中，请根据实际搭建环境修改配置文件中的参数配置，具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。

在目标DMDRS服务的配置文件目录，打开并修改exec.xml配置文件，修改后配置文件如下所示。

注意
配置文件中的siteid为必配参数，配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性，如果重复，会造成链路中数据复制的混乱。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <exec>
        <name>exec_kafka</name>
        <login>
            <dbtype>kafka</dbtype>
            <producer_properties>/home/dmdrs/dmdrs5/bin/producer.properties</producer_properties>
        </login>
        <group>
            <item>
                <id>0</id>
                <topic_name>OTHERS</topic_name>
                <json_format_path>/home/dmdrs/dmdrs5/bin/json_format.ini</json_format_path>
            </item>
            <item>
                <id>1</id>
                <topic_name>EMP</topic_name>
                <json_format_path>/home/dmdrs/dmdrs5/bin/json_format.ini</json_format_path>
                <desc>
                    <table>RESOURCES.EMP</table>
                    <table>RESOURCES.EMP_ADDR</table>
                </desc>
            </item>
        </group>
    </exec>
</drs>

创建并修改producer.properties配置文件，修改后配置文件如下所示。此处仅展示基础示例，关于Kafka生产者属性的具体说明请参见Kafka生产者属性配置。

bootstrap.servers=192.168.20.21:9092,192.168.20.22:9092

当使用schema registry服务时，还需在producer.properties配置文件中配置schema.registry.url参数。

schema.registry.url=http://192.168.20.21:8089

创建并修改json_format.ini配置文件，修改后配置文件如下所示。请在使用前根据实际应用场景需求设计JSON串的打印格式并编写该配置文件。

#DMDRS kafka json format Configuration file
#This is a comment
#common format control parameters
OP_TIME_FORMAT          = (yyyy-mm-dd hh:mi:ss)
CUR_TIME_FORMAT         = (yyyy-mm-dd hh:mi:ss)
NULL_FORMAT             = "null"
SET_QUOTA               = 0
SET_ROWID_COL           = 0
NEED_CRLF               = 1
CHAR_REPLACE            =(",\"),(\,\\)
NEW_VALUES              = ALL
OLD_LOB_FLAG            = "empty_lob()"
JSON_FORMAT_INS = {
                "table":"#SCHEMA.#TABLE",
                "op_type":"#OP_TYPE",
                "op_ts":"#OP_TIME",
                "current_ts":"#TIME",
                "pos":"#POS",
                "primary_keys":[#PRIMARY_KEY],
                "after":{#NEW_VALUES}
}
JSON_FORMAT_UPD = {
                "table":"#SCHEMA.#TABLE",
                "op_type":"#OP_TYPE",
                "op_ts":"#OP_TIME",
                "current_ts":"#TIME",
                "pos":"#POS",
                "primary_keys":[#PRIMARY_KEY],
                "before":{#OLD_VALUES},
                "after":{#NEW_VALUES}
}
JSON_FORMAT_DEL = {
                "table":"#SCHEMA.#TABLE",
                "op_type":"#OP_TYPE",
                "op_ts":"#OP_TIME",
                "current_ts":"#TIME",
                "pos":"#POS",
                "primary_keys":[#PRIMARY_KEY],
                "before":{#OLD_VALUES}
}
JSON_FORMAT_DDL = {
                "table":"#SCHEMA.#TABLE",
                "op_type":"#OP_TYPE",
                "op_ts":"#OP_TIME",
                "current_ts":"#TIME",
                "pos":"#POS",      
                "after":
                {"DB_TYPE":"ORA",
                "OBJECT_TYPE":"#OP_TYPE",
                "OBJECT_NAME":"#SCHEMA.#TABLE",
                "DDL_TEXT":"#DDL_SQL"}
}

注意
当目标DMDRS服务与schema registry服务搭配使用时，json_format.ini配置文件的格式必须与schema匹配，且其对应的JSON必须有正确的JSON格式。默认的schema格式为CloudEvents Avro Schema，该格式的具体说明请参见CloudEvents官方文档。

将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
```
$ cp TemplateService ../DrsService
```

打开并修改DrsService服务脚本中的相关配置参数。

$ vi DrsService

INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/exec.xml
EXEC_PROG_NAME=drsvr
SERVICE_TYPE_NAME="drs server"

启动目标DMDRS服务。
```
$ ./DrsService start
```

5 配置和启动源DMDRS服务

介绍源DMDRS服务的配置和启动方法。按顺序先启动目标DMDRS服务，再启动源DMDRS服务。

说明
以下DMDRS服务的配置文件仅为示例，在实际应用场景中，请根据实际搭建环境修改配置文件中的参数配置，具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。

在源DMDRS服务的配置文件目录，打开并修改cpt.xml配置文件，修改后配置文件如下所示。

注意
配置文件中的siteid为必配参数，配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性，如果重复，会造成链路中数据复制的混乱。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <cpt>
        <name>cpt_dm8</name>
        <login>
            <dbtype>dm8</dbtype>
            <server>192.168.20.24</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>
        </login>
        <send>
            <ip>192.168.20.21</ip>
            <port>5345</port>
            <target_name>exec_kafka</target_name>
            <map>
                <item>RESOURCES.*==RESOURCES.*</item>
            </map>
        </send>
    </cpt>
</drs>

将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
```
$ cp TemplateService ../DrsService
```

打开并修改DrsService服务脚本中的相关配置参数。

$ vi DrsService

INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt.xml
EXEC_PROG_NAME=drsvr
SERVICE_TYPE_NAME="drs server"

启动源DMDRS服务。
```
$ ./DrsService start
```

6 启动数据迁移

使用服务脚本启动服务后，需要使用远程控制台对服务中的CPT模块执行数据迁移命令。

说明
数据迁移功能无需启动CPT模块，直接执行相应的数据迁移命令即可，具体命令请参见《DMDRS控制台命令手册》。

启动控制台。
```
$ ./drcsl cpt.xml
```
连接源DMDRS服务。
```
CSL> connect
```
将源数据库RESOURCES模式下表EMPLOYEE的全量数据迁移到目标数据库。
```
CSL> alter cpt_dm8 cp "sch.name='RESOURCES' and tab.name='EMPLOYEE'"
```
使用命令查看数据迁移的监控信息，具体命令请参见《DMDRS控制台命令手册》。

7 验证迁移结果

验证源数据库中表RESOURCES.EMPLOYEE的数据是否已成功迁移到目标数据库。