达梦数据复制软件DMDRS主备搭建部署示例：源数据库Oracle（RAC）到目标数据库Kafka一对一数据同步

1 场景规划

业务规划

数据同步场景中已部署两个数据库，包括源数据库Oracle（RAC）（192.168.20.21/22）和目标数据库Kafka（192.168.20.24/25），现需通过搭建DMDRS，将源数据库RESOURCES模式下所有表的全量数据和增量数据同步到目标数据库Kafka的EMP和OTHERS的Topic。

RACKAFKA数据同步主备.png

源DMDRS主备：捕获源数据库的数据，将捕获到的数据发送到目标DMDRS。
目标DMDRS主备：将接收的数据同步到目标数据库。
主备决策节点：持久化目标DMDRS主备节点信息，处理目标DMDRS主备存取主备节点信息的请求。

网络规划

DMDRS服务	IP地址和端口	连接数据库	说明
源DMDRS主节点	192.168.20.21:5345	源数据库Oracle （RAC）节点1：192.168.20.21:1521/racdb ASM服务名：192.168.20.21:1521/+ASM	源DMDRS主节点服务器需要安装OCI驱动与源数据库Oracle（RAC）连接。
源DMDRS备节点	192.168.20.22:5345	源数据库Oracle （RAC）节点2：192.168.20.22:1521/racdb ASM服务名：192.168.20.22:1521/+ASM	源DMDRS备节点服务器需要安装OCI驱动与源数据库Oracle（RAC）连接。
目标DMDRS主节点	192.168.20.24:5345	目标数据库Kafka 节点1：192.168.20.24:9092	目标DMDRS主节点服务器需要安装librdkafka驱动与目标数据库Kafka连接。
目标DMDRS备节点	192.168.20.25:5345	目标数据库Kafka 节点2：192.168.20.25:9092	目标DMDRS备节点服务器需要安装librdkafka驱动与目标数据库Kafka连接。
主备决策节点	192.168.20.26:5345	该节点不连接数据库	该节点所在机器需要与目标DMDRS主备节点所在机器不同，并与目标DMDRS主备节点机器保持网络畅通。

目录规划

源数据库、源DMDRS服务、目标DMDRS服务、主备决策DMDRS服务相关的目录规划如下表所示。

目录类型	目录名	目录示例
源数据库	数据库归档文件目录	/oradata/arch
源DMDRS主节点	安装目录	/home/dmdrs/dmdrs5
	执行程序目录	/home/dmdrs/dmdrs5/bin
	配置文件路径	/home/dmdrs/dmdrs5/bin/cpt_rac_master.xml
	服务脚本模板目录	/home/dmdrs/dmdrs5/bin/service_template
	服务脚本目录	/home/dmdrs/dmdrs5/bin
	console远程控制工具	/home/dmdrs/dmdrs5/bin/drcsl
源DMDRS备节点	安装目录	/home/dmdrs/dmdrs5
	执行程序目录	/home/dmdrs/dmdrs5/bin
	配置文件路径	/home/dmdrs/dmdrs5/bin/cpt_rac_slave.xml
	服务脚本模板目录	/home/dmdrs/dmdrs5/bin/service_template
	服务脚本目录	/home/dmdrs/dmdrs5/bin
	console远程控制工具	/home/dmdrs/dmdrs5/bin/drcsl
目标DMDRS主节点	安装目录	/home/dmdrs/dmdrs5
	执行程序目录	/home/dmdrs/dmdrs5/bin
	配置文件路径	/home/dmdrs/dmdrs5/bin/exec_master.xml
	服务脚本模板目录	/home/dmdrs/dmdrs5/bin/service_template
	服务脚本目录	/home/dmdrs/dmdrs5/bin
	console远程控制工具	/home/dmdrs/dmdrs5/bin/drcsl
	librdkafka驱动目录	/home/dmdrs/dmdrs5/bin/kafka_lib
目标DMDRS备节点	安装目录	/home/dmdrs/dmdrs5
	执行程序目录	/home/dmdrs/dmdrs5/bin
	配置文件路径	/home/dmdrs/dmdrs5/bin/exec_slave.xml
	服务脚本模板目录	/home/dmdrs/dmdrs5/bin/service_template
	服务脚本目录	/home/dmdrs/dmdrs5/bin
	console远程控制工具	/home/dmdrs/dmdrs5/bin/drcsl
	librdkafka驱动目录	/home/dmdrs/dmdrs5/bin/kafka_lib
主备决策DMDRS节点	安装目录	/home/dmdrs/dmdrs5
	执行程序目录	/home/dmdrs/dmdrs5/bin
	配置文件路径	/home/dmdrs/dmdrs5/bin/arbiter.xml
	服务脚本模板目录	/home/dmdrs/dmdrs5/bin/service_template
	服务脚本目录	/home/dmdrs/dmdrs5/bin
	console远程控制工具	/home/dmdrs/dmdrs5/bin/drcsl

2 设置DMDRS运行用户

设置源DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限，并设置运行用户同数据库归档文件所在目录属同一用户组，此用户组应对归档文件所在目录及子目录有读权限。
设置目标DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限。
设置主备决策DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限。

3 设置环境变量

注意

librdkafka驱动文件依赖于libsasl2.so动态库，不同操作系统上该动态库的版本号可能与librdkafka驱动依赖的版本号不同。

在Kerberoes安全认证环境下，librdkafka驱动文件依赖如下软件包：krb5-workstation（或krb5-client）, krb5-libs，cyrus-sasl-gssapi（或与其功能相当的cyrus-sasl系列软件包）。

当使用schema registry服务时，除librdkafka驱动文件外，还需要将libserdes、libjansson、libavro驱动文件添加到环境变量。

在源DMDRS服务器的环境变量中添加OCI驱动文件路径，在目标DMDRS的服务器的环境变量中添加librdkafka驱动文件路径。

打开.bash_profile配置文件。
```
$ vi ~/.bash_profile
```
在.bash_profile配置文件末尾增加驱动路径。
- 源DMDRS服务器环境变量中添加OCI驱动路径。
```
export LD_LIBRARY_PATH=<OCI驱动路径>:$LD_LIBRARY_PATH
```
- 目标DMDRS服务器环境变量中添加librdkafka驱动路径。
```
export LD_LIBRARY_PATH=<librdkafka驱动路径>:$LD_LIBRARY_PATH
```
保存并退出vi编辑器，使环境变量生效。
```
$ source ~/.bash_profile
```
查看环境变量是否设置成功。
```
$ echo $LD_LIBRARY_PATH
```

4 开启源数据库的归档和逻辑日志

注意
修改数据库为归档模式需重启数据库服务，生产环境中需确认能否停机维护。

使用SQL*Plus登录到源数据库。
```
$ sqlplus / as sysdba
```
查看数据库归档模式是否开启。若数据库已经开启归档模式，则跳过步骤3到7。
```
SQL> archive log list
```
暂停数据库服务。
```
SQL> shutdown immediate
```
以mount方式启动Oracle数据库服务。
```
SQL> startup mount
```

开启数据库归档，并设置归档文件路径。

SQL> alter database archivelog;
SQL> alter system set db_recovery_file_dest='';
SQL> alter system set log_archive_dest='/oradata/arch';

重启数据库，使归档路径生效。

SQL> shutdown immediate;
SQL> startup mount;

将数据库切换到正常的工作状态。
```
SQL> alter database open;
```
查看数据库最小附加日志及全列日志是否开启。若数据库已经开启最小附加日志及全列日志，则跳过步骤9。
```
SQL> select supplemental_log_data_min from v$database;
SQL> select supplemental_log_data_all from v$database;
```

开启数据库最小附加日志及全列日志。

SQL> alter database add supplemental log data;
SQL> alter database add supplemental log data (ALL) columns;

Oracle 12c及以上版本需要开启enable_goldengate_replication参数。
```
SQL> alter system set enable_goldengate_replication = TRUE;
```
查看日志数据块校验是否开启。若已经开启数据块校验，则跳过步骤12。
```
SQL> select name, value from v$parameter where name = 'db_block_checksum';
```

开启日志数据块校验。

SQL> alter system set db_block_checksum = TYPICAL scope = BOTH;

5 配置DMDRS服务

介绍源DMDRS服务和目标DMDRS服务的配置方法。

说明
以下DMDRS服务的配置文件仅为示例，在实际应用场景中，请根据实际搭建环境修改配置文件中的参数配置，具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。

5.1 配置主备决策DMDRS节点服务

在主备决策DMDRS节点服务的配置文件目录，打开并修改arbiter.xml配置文件，修改后配置文件如下所示。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <enable_arbiter>1</enable_arbiter>
    </base>
</drs>

5.2 配置目标DMDRS主节点服务

在目标DMDRS主节点服务的配置文件目录，打开并修改exec_master.xml配置文件，修改后配置文件如下所示。

注意

配置文件中的siteid为必配参数，配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性，如果重复，会造成链路中数据复制的混乱。

配置文件中的siteid为必配参数，配置时请确保DMDRS主节点和DMDRS备节点服务站点号一致，如果不一致，会造成主备链路中数据复制的混乱。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <exec>
        <name>exec_kafka</name>
        <login>
            <dbtype>kafka</dbtype>
            <producer_properties>/home/dmdrs/dmdrs5/bin/producer.properties</producer_properties>
        </login>
        <group>
            <item>
                <id>0</id>
                <topic_name>OTHERS</topic_name>
                <json_format_path>/home/dmdrs/dmdrs5/bin/json_format.ini</json_format_path>
            </item>
            <item>
                <id>1</id>
                <topic_name>EMP</topic_name>
                <json_format_path>/home/dmdrs/dmdrs5/bin/json_format.ini</json_format_path>
                <desc>
                    <table>RESOURCES.EMP</table>
                    <table>RESOURCES.EMP_ADDR</table>
                </desc>
            </item>
        </group>
        <cluster>
            <mode>master</mode>
            <standby>
                <item>
                    <ip>192.168.20.25</ip>
                    <port>5345</port>
                    <target_name>exec_kafka</target_name>
                </item>
            </standby>
            <arbiter>
                <ip>192.168.20.26</ip>
                <port>5345</port>
            </arbiter>
        </cluster>
    </exec>
</drs>

5.3 配置目标DMDRS备节点服务

在目标DMDRS备节点服务的配置文件目录，打开并修改exec_slave.xml配置文件，修改后配置文件如下所示。

注意

配置文件中的siteid为必配参数，配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性，如果重复，会造成链路中数据复制的混乱。

配置文件中的siteid为必配参数，配置时请确保DMDRS主节点和DMDRS备节点服务站点号一致，如果不一致，会造成主备链路中数据复制的混乱。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <exec>
        <name>exec_kafka</name>
        <login>
            <dbtype>kafka</dbtype>
            <producer_properties>/home/dmdrs/dmdrs5/bin/producer.properties</producer_properties>
        </login>
        <group>
            <item>
                <id>0</id>
                <topic_name>OTHERS</topic_name>
                <json_format_path>/home/dmdrs/dmdrs5/bin/json_format.ini</json_format_path>
            </item>
            <item>
                <id>1</id>
                <topic_name>EMP</topic_name>
                <json_format_path>/home/dmdrs/dmdrs5/bin/json_format.ini</json_format_path>
                <desc>
                    <table>RESOURCES.EMP</table>
                    <table>RESOURCES.EMP_ADDR</table>
                </desc>
            </item>
        </group>
        <cluster>
            <mode>slave</mode>
            <arbiter>
                <ip>192.168.20.26</ip>
                <port>5345</port>
            </arbiter>
        </cluster>
    </exec>
</drs>

5.4 配置源DMDRS主节点服务

在源DMDRS主节点服务的配置文件目录，打开并修改cpt_rac_master.xml配置文件，修改后配置文件如下所示。

注意

配置文件中的siteid为必配参数，配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性，如果重复，会造成链路中数据复制的混乱。

配置文件中的siteid为必配参数，配置时请确保DMDRS主节点和DMDRS备节点服务站点号一致，如果不一致，会造成主备链路中数据复制的混乱。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <cpt>
        <name>cpt_rac</name>
        <login>
            <dbtype>Oracle</dbtype>
            <server>192.168.20.21:1521/racdb</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
        </login>
        <send>
            <ip>192.168.20.24</ip>
            <port>5345</port>
            <target_name>exec_kafka</target_name>
            <map>
                <item>RESOURCES.*==RESOURCES.*</item>
            </map>
        </send>
        <rac>
            <nodes>2</nodes>
            <rac_type>ASM</rac_type>
            <login>
                <server>192.168.20.21:1521/+ASM</server>
                <user>sys</user>
                <pwd>default</pwd>
            </login>
        </rac>
        <cluster>
            <mode>master</mode>
            <standby>
                <item>
                    <ip>192.168.20.22</ip>
                    <port>5345</port>
                    <target_name>cpt_rac</target_name>
                </item>
            </standby>
        </cluster>
    </cpt>
</drs>

5.5 配置源DMDRS备节点服务

在源DMDRS备节点服务的配置文件目录，打开并修改cpt_rac_slave.xml配置文件，修改后配置文件如下所示。

注意

配置文件中的siteid为必配参数，配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性，如果重复，会造成链路中数据复制的混乱。

配置文件中的siteid为必配参数，配置时请确保DMDRS主节点和DMDRS备节点服务站点号一致，如果不一致，会造成主备链路中数据复制的混乱。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <cpt>
        <name>cpt_rac</name>
        <login>
            <dbtype>Oracle</dbtype>
            <server>192.168.20.22:1521/racdb</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
        </login>
        <send>
            <ip>192.168.20.24</ip>
            <port>5345</port>
            <target_name>exec_kafka</target_name>
            <map>
                <item>RESOURCES.*==RESOURCES.*</item>
            </map>
        </send>
        <rac>
            <nodes>2</nodes>
            <rac_type>ASM</rac_type>
            <login>
                <server>192.168.20.22:1521/+ASM</server>
                <user>sys</user>
                <pwd>default</pwd>
            </login>
        </rac>
        <cluster>
            <mode>slave</mode>
        </cluster>
    </cpt>
</drs>

6 运行DMDRS服务

按照服务的运行顺序，启动主备决策DMDRS节点服务、目标DMDRS主节点服务、目标DMDRS备节点服务、源DMDRS主节点服务和源DMDRS备节点服务。

6.1 启动主备决策DMDRS节点服务

将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
```
$ cp TemplateService ../DrsService
```

打开并修改DrsService服务脚本中的相关配置参数。

$ vi DrsService

INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/arbiter.xml
EXEC_PROG_NAME=drsvr
SERVICE_TYPE_NAME="drs server"

启动主备决策DMDRS节点服务。
```
$ ./DrsService start
```

6.2 启动目标DMDRS主节点服务

将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
```
$ cp TemplateService ../DrsService
```

打开并修改DrsService服务脚本中的相关配置参数。

$ vi DrsService

INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/exec_master.xml
EXEC_PROG_NAME=drsvr
SERVICE_TYPE_NAME="drs server"

启动目标DMDRS主节点服务。
```
$ ./DrsService start
```

6.3 启动目标DMDRS备节点服务

将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
```
$ cp TemplateService ../DrsService
```

打开并修改DrsService服务脚本中的相关配置参数。

$ vi DrsService

INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/exec_slave.xml
EXEC_PROG_NAME=drsvr
SERVICE_TYPE_NAME="drs server"

启动目标DMDRS备节点服务。
```
$ ./DrsService start
```

6.4 启动源DMDRS主节点服务

将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
```
$ cp TemplateService ../DrsService
```

打开并修改DrsService服务脚本中的相关配置参数。

$ vi DrsService

INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt_rac_master.xml
EXEC_PROG_NAME=drsvr
SERVICE_TYPE_NAME="drs server"

启动源DMDRS主节点服务。
```
$ ./DrsService start
```

6.5 启动源DMDRS备节点服务

将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
```
$ cp TemplateService ../DrsService
```

打开并修改DrsService服务脚本中的相关配置参数。

$ vi DrsService

INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt_rac_slave.xml
EXEC_PROG_NAME=drsvr
SERVICE_TYPE_NAME="drs server"

启动源DMDRS备节点服务。
```
$ ./DrsService start
```

6.6 启动源DMDRS主节点服务中的CPT模块

使用服务脚本启动服务后，需要使用远程控制台对服务中的模块执行启动命令。

启动控制台。
```
$ ./drcsl cpt_rac_master.xml
```
连接源DMDRS服务。
```
CSL> connect
```
设置数据库当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置，请参考《DMDRS控制台命令手册》进行设置。
```
CSL> alter cpt_rac set lsn
```
启动源DMDRS主节点服务中的CPT模块。
```
CSL> start
```
将源数据库中RESOURCES模式下所有的表添加同步，并在同步之前把源端表的全量数据装载到目标数据库。

根据不同需求可以使用不同的数据装载掩码，掩码说明具体请参见《DMDRS控制台命令手册》的添加同步表章节。
```
CSL> alter cpt_rac add table "sch.name='RESOURCES'" 
```
使用命令查看数据装载的监控信息，具体命令请参见《DMDRS控制台命令手册》。

7 验证同步结果

在源数据库表RESOURCES.EMPLOYEE中插入数据，如果插入的数据能正确地同步到目标数据库，则表示数据同步成功。