达梦数据复制软件DMDRS搭建部署示例：Oracle到Kafka一对一数据同步

1 场景规划

业务规划

数据同步场景中已部署两个数据库，包括源数据库Oracle（192.168.20.24）和目标数据库Kafka（192.168.20.21/22）。现需通过搭建DMDRS，将源数据库RESOURCES模式下所有表的全量数据和增量数据同步到目标数据库Kafka的EMP和OTHERS的Topic。

OracleKafka数据同步一对一.png

源DMDRS：捕获源数据库的数据，将捕获到的数据发送到目标DMDRS。
目标DMDRS：将接收的数据同步到目标数据库Kafka。

网络规划

DMDRS服务	IP地址和端口	连接数据库	说明
源DMDRS	192.168.20.24:5345	源数据库 Oracle 192.168.20.24:1521 网络服务名：orcl	源DMDRS服务器需要安装OCI驱动与源数据库Oracle连接。
目标DMDRS	192.168.20.21:5345	目标数据库 Kafka 节点1：192.168.20.21:9092 节点2：192.168.20.22:9092	目标DMDRS服务器需要安装librdkafka驱动与目标数据库Kafka连接。

目录规划

源DMDRS服务和目标DMDRS服务相关的目录规划如下表所示。

目录类型	目录名	目录示例
源数据库	数据库归档文件目录	/oradata/arch
源DMDRS服务	安装目录	/home/dmdrs/dmdrs5
	执行程序目录	/home/dmdrs/dmdrs5/bin
	配置文件路径	/home/dmdrs/dmdrs5/bin/cpt.xml
	服务脚本模板目录	/home/dmdrs/dmdrs5/bin/service_template
	服务脚本目录	/home/dmdrs/dmdrs5/bin
	console远程控制工具	/home/dmdrs/dmdrs5/bin/drcsl
目标DMDRS服务	安装目录	/home/dmdrs/dmdrs5
	执行程序目录	/home/dmdrs/dmdrs5/bin
	配置文件路径	/home/dmdrs/dmdrs5/bin/exec.xml
	服务脚本模板目录	/home/dmdrs/dmdrs5/bin/service_template
	服务脚本目录	/home/dmdrs/dmdrs5/bin
	console远程控制工具	/home/dmdrs/dmdrs5/bin/drcsl
	librdkafka驱动目录	/home/dmdrs/dmdrs5/bin/kafka_lib

2 设置DMDRS运行用户

设置源DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限，并设置运行用户同数据库归档文件所在目录属同一用户组，此用户组应对归档文件所在目录及子目录有读权限。
设置目标DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限。

3 设置环境变量

注意

Kafka数据库的librdkafka驱动库文件已随执行程序放在执行程序目录下的kafka_lib目录下。

由于操作系统、终端不同，设置环境变量命令或操作步骤会略有差异。

librdkafka驱动文件依赖于libsasl2.so动态库，不同操作系统上该动态库的版本号可能与librdkafka驱动依赖的版本号不同。

在Kerberoes安全认证环境下，librdkafka驱动文件依赖如下软件包：krb5-workstation（或krb5-client）, krb5-libs，cyrus-sasl-gssapi（或与其功能相当的cyrus-sasl系列软件包）。

在kerberos安全认证环境下，需要配置KRB5_CONFIG环境变量为kerberos配置文件的路径。

当使用schema registry服务时，除librdkafka驱动文件外，还需要将libserdes、libjansson、libavro驱动文件添加到环境变量。

在源DMDRS服务器的环境变量中添加OCI驱动文件路径，在目标DMDRS的服务器的环境变量中添加librdkafka驱动文件路径。

打开.bash_profile配置文件。
```
$ vi ~/.bash_profile
```
在.bash_profile配置文件末尾增加驱动路径。
- 源DMDRS服务器环境变量中添加OCI驱动路径。
```
export LD_LIBRARY_PATH=<OCI驱动路径>:$LD_LIBRARY_PATH
```
- 目标DMDRS服务器环境变量中添加librdkafka驱动路径。
```
export LD_LIBRARY_PATH=<librdkafka驱动路径>:$LD_LIBRARY_PATH
```
保存并退出vi编辑器，使环境变量生效。
```
$ source ~/.bash_profile
```
查看环境变量是否设置成功。
```
$ echo $LD_LIBRARY_PATH
```

4 开启源数据库的归档和逻辑日志

注意
修改数据库为归档模式需重启数据库服务，生产环境中需确认能否停机维护。

使用SQL*Plus登录到源数据库。
```
$ sqlplus / as sysdba
```
查看数据库归档模式是否开启。若数据库已经开启归档模式，则跳过步骤3到7。
```
SQL> archive log list
```
暂停数据库服务。
```
SQL> shutdown immediate
```
以mount方式启动Oracle数据库服务。
```
SQL> startup mount
```

开启数据库归档，并设置归档文件路径。

SQL> alter database archivelog;
SQL> alter system set db_recovery_file_dest='';
SQL> alter system set log_archive_dest='/oradata/arch';

重启数据库，使归档路径生效。

SQL> shutdown immediate;
SQL> startup mount;

将数据库切换到正常的工作状态。
```
SQL> alter database open;
```
查看数据库最小附加日志及全列日志是否开启。若数据库已经开启最小附加日志及全列日志，则跳过步骤9。
```
SQL> select supplemental_log_data_min from v$database;
SQL> select supplemental_log_data_all from v$database;
```

开启数据库最小附加日志及全列日志。

SQL> alter database add supplemental log data;
SQL> alter database add supplemental log data (ALL) columns;

Oracle 12c及以上版本需要开启enable_goldengate_replication参数。
```
SQL> alter system set enable_goldengate_replication = TRUE;
```
查看日志数据块校验是否开启。若已经开启数据块校验，则跳过步骤12。
```
SQL> select name, value from v$parameter where name = 'db_block_checksum';
```

开启日志数据块校验。

SQL> alter system set db_block_checksum = TYPICAL scope = BOTH;

5 创建源数据库同步用户和配置用户权限

请根据《DMDRS搭建手册-Oracle》的创建数据库同步用户DMDRS和配置数据库同步用户最小权限创建源数据库的同步用户，并为数据库同步用户配置最小权限。

6 配置和启动目标DMDRS服务

介绍目标DMDRS服务的配置和启动方法。按顺序先启动目标DMDRS服务，再启动源DMDRS服务。

说明
以下DMDRS服务的配置文件仅为示例，在实际应用场景中，请根据实际搭建环境修改配置文件中的参数配置，具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。

在目标DMDRS服务的配置文件目录，打开并修改exec.xml配置文件，修改后配置文件如下所示。

注意
配置文件中的siteid为必配参数，配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性，如果重复，会造成链路中数据复制的混乱。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <exec>
        <name>exec_kafka</name>
        <login>
            <dbtype>kafka</dbtype>
            <producer_properties>/home/dmdrs/dmdrs5/bin/producer.properties</producer_properties>
        </login>
        <group>
            <item>
                <id>0</id>
                <topic_name>OTHERS</topic_name>
                <json_format_path>/home/dmdrs/dmdrs5/bin/json_format.ini</json_format_path>
            </item>
            <item>
                <id>1</id>
                <topic_name>EMP</topic_name>
                <json_format_path>/home/dmdrs/dmdrs5/bin/json_format.ini</json_format_path>
                <desc>
                    <table>RESOURCES.EMP</table>
                    <table>RESOURCES.EMP_ADDR</table>
                </desc>
            </item>
        </group>
    </exec>
</drs>

创建并修改producer.properties配置文件，修改后配置文件如下所示。此处仅展示基础示例，关于Kafka生产者属性的具体说明请参见Kafka生产者属性配置。

bootstrap.servers=192.168.20.21:9092,192.168.20.22:9092

当使用schema registry服务时，还需在producer.properties配置文件中配置schema.registry.url参数。

schema.registry.url=http://192.168.20.21:8089

创建并修改json_format.ini配置文件，修改后配置文件如下所示。请在使用前根据实际应用场景需求设计JSON串的打印格式并编写该配置文件。

#DMDRS kafka json format Configuration file
#This is a comment
#common format control parameters
OP_TIME_FORMAT       = (yyyy-mm-dd hh:mi:ss)
CUR_TIME_FORMAT      = (yyyy-mm-dd hh:mi:ss)
NULL_FORMAT          = "null"
SET_QUOTA            = 0
SET_ROWID_COL        = 0
NEED_CRLF            = 1
CHAR_REPLACE         =(",\"),(\,\\)
NEW_VALUES           = ALL
OLD_LOB_FLAG         = "empty_lob()"
JSON_FORMAT_INS = {
                "table":"#SCHEMA.#TABLE",
                "op_type":"#OP_TYPE",
                "op_ts":"#OP_TIME",
                "current_ts":"#TIME",
                "pos":"#POS",
                "primary_keys":[#PRIMARY_KEY],
                "after":{#NEW_VALUES}
}
JSON_FORMAT_UPD = {
                "table":"#SCHEMA.#TABLE",
                "op_type":"#OP_TYPE",
                "op_ts":"#OP_TIME",
                "current_ts":"#TIME",
                "pos":"#POS",
                "primary_keys":[#PRIMARY_KEY],
                "before":{#OLD_VALUES},
                "after":{#NEW_VALUES}
}
JSON_FORMAT_DEL = {
                "table":"#SCHEMA.#TABLE",
                "op_type":"#OP_TYPE",
                "op_ts":"#OP_TIME",
                "current_ts":"#TIME",
                "pos":"#POS",
                "primary_keys":[#PRIMARY_KEY],
                "before":{#OLD_VALUES}
}
JSON_FORMAT_DDL = {
                "table":"#SCHEMA.#TABLE",
                "op_type":"#OP_TYPE",
                "op_ts":"#OP_TIME",
                "current_ts":"#TIME",
                "pos":"#POS",      
                "after":
                {"DB_TYPE":"ORA",
                "OBJECT_TYPE":"#OP_TYPE",
                "OBJECT_NAME":"#SCHEMA.#TABLE",
                "DDL_TEXT":"#DDL_SQL"}
}

注意
当目标DMDRS服务与schema registry服务搭配使用时，json_format.ini配置文件的格式必须与schema匹配，且其对应的JSON必须有正确的JSON格式。默认的schema格式为CloudEvents Avro Schema，该格式的具体说明请参见CloudEvents官方文档。

将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
```
$ cp TemplateService ../DrsService
```

打开并修改DrsService服务脚本中的相关配置参数。

$ vi DrsService

INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/exec.xml
EXEC_PROG_NAME=drsvr
SERVICE_TYPE_NAME="drs server"

启动目标DMDRS服务。
```
$ ./DrsService start
```

7 配置和启动源DMDRS服务

介绍源DMDRS服务的配置和启动方法。按顺序先启动目标DMDRS服务，再启动源DMDRS服务。

说明
以下DMDRS服务的配置文件仅为示例，在实际应用场景中，请根据实际搭建环境修改配置文件中的参数配置，具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。

在源DMDRS服务的配置文件目录，打开并修改cpt.xml配置文件，修改后配置文件如下所示。

注意
配置文件中的siteid为必配参数，配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性，如果重复，会造成链路中数据复制的混乱。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <cpt>
        <name>cpt_oracle</name>
        <login>
            <dbtype>Oracle</dbtype>
            <server>orcl</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
        </login>
        <send>
            <ip>192.168.20.21</ip>
            <port>5345</port>
            <target_name>exec_kafka</target_name>
            <map>
                <item>RESOURCES.*==RESOURCES.*</item>
            </map>
        </send>
    </cpt>
</drs>

将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
```
$ cp TemplateService ../DrsService
```

打开并修改DrsService服务脚本中的相关配置参数。

$ vi DrsService

INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt.xml
EXEC_PROG_NAME=drsvr
SERVICE_TYPE_NAME="drs server"

启动源DMDRS服务。
```
$ ./DrsService start
```
启动控制台。
```
$ ./drcsl cpt.xml
```
连接源DMDRS服务。
```
CSL> connect
```
设置数据库当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置，请参考《DMDRS控制台命令手册》进行设置。
```
CSL> alter cpt_oracle set lsn
```
启动源DMDRS服务中的CPT模块。
```
CSL> start
```

8 添加同步表

将源数据库中RESOURCES模式下所有的表添加同步，并在同步之前把源端表的全量数据装载到Kafka目标库。
```
CSL> alter cpt_oracle add table "sch.name='RESOURCES'"
```
使用命令查看数据装载的监控信息，具体命令请参见《DMDRS控制台命令手册》。

9 验证同步结果

在源数据库中RESOURCES模式下所有的表中分别插入数据，如果插入的数据能正确地同步到目标数据库Kafka，则表示数据同步成功。