注册
达梦数据复制软件DMDRS搭建部署示例:源数据库MPP到目标数据库DSC一对一数据同步
专栏/数+融合专栏/ 文章详情 /

达梦数据复制软件DMDRS搭建部署示例:源数据库MPP到目标数据库DSC一对一数据同步

达梦数+数据融合软件(DMDF)产品团队 2026/07/16 239 0 0
摘要 以源数据库为DM8 MPP(3节点)和目标数据库为DM8 DSC(3节点)为例,介绍在一对一数据同步场景中DMDRS的搭建流程。

以源数据库为DM8 MPP(3节点)和目标数据库为DM8 DSC(3节点)为例,介绍在一对一数据同步场景中DMDRS的搭建流程。

说明

源数据库为DM8 MPP时,不支持DDL同步。

1 场景规划

业务规划

数据同步场景中已部署两个数据库,包括源数据库DM8 MPP(EP01节点192.168.20.24/EP02节点192.168.20.25/EP03节点192.168.20.26)和目标数据库DM8 DSC(192.168.20.21/192.168.20.22/192.168.20.23),现需通过搭建DMDRS,将源数据库RESOURCES模式下所有表的全量数据和增量数据(仅支持DML操作)同步到目标数据库的RESOURCES模式。

MPPDSC数据同步.png

  • 源DMDRS:部署在MPP的每个节点上,负责捕获本地节点的归档日志数据,并将捕获到的数据发送到目标DMDRS。

  • 目标DMDRS:将接收的数据同步到目标数据库。

网络规划

DMDRS服务 IP地址和端口 连接数据库 说明
源DMDRS(部署在源数据库MPP EP01节点的DMDRS_EP01) 192.168.20.24:5345 源数据库MPP EP01节点:192.168.20.24:5236 源DMDRS服务器需要安装DMDPI驱动与源数据库MPP的EP01节点连接。
源DMDRS(部署在源数据库MPP EP02节点的DMDRS_EP02) 192.168.20.25:5345 源数据库MPP EP02节点:192.168.20.25:5236 源DMDRS服务器需要安装DMDPI驱动与源数据库MPP的EP02节点连接。
源DMDRS(部署在源数据库MPP EP03节点的DMDRS_EP03) 192.168.20.26:5345 源数据库MPP EP03节点: 192.168.20.26:5236 源DMDRS服务器需要安装DMDPI驱动与源数据库MPP的EP03节点连接。
目标DMDRS 192.168.20.21:5345 目标数据库 DSC 服务名: DMDSC 目标DMDRS服务器需要安装DMDPI驱动与目标数据库DSC连接。

目录规划

源数据库、源DMDRS服务(DMDRS_EP01、DMDRS_EP02和DMDRS_EP03)和目标DMDRS服务相关的目录规划如下表所示。

目录类型 目录名 目录示例
源数据库
(EP01、EP02和EP03)
数据库归档文件目录 /dm8/data/arch
数据库DDL同步脚本目录 /home/dmdrs/dmdrs5/bin/scripts
源DMDRS服务
(DMDRS_EP01、DMDRS_EP02和DMDRS_EP03)
安装目录 /home/dmdrs/dmdrs5
执行程序目录 /home/dmdrs/dmdrs5/bin
配置文件路径 /home/dmdrs/dmdrs5/bin/cpt.xml
服务脚本模板目录 /home/dmdrs/dmdrs5/bin/service_template
服务脚本目录 /home/dmdrs/dmdrs5/bin
console远程控制工具 /home/dmdrs/dmdrs5/bin/drcsl
目标DMDRS服务 安装目录 /home/dmdrs/dmdrs5
执行程序目录 /home/dmdrs/dmdrs5/bin
配置文件路径 /home/dmdrs/dmdrs5/bin/exec.xml
服务脚本模板目录 /home/dmdrs/dmdrs5/bin/service_template
服务脚本目录 /home/dmdrs/dmdrs5/bin
console远程控制工具 /home/dmdrs/dmdrs5/bin/drcsl

2 设置DMDRS运行用户

  1. 设置源DMDRS服务(DMDRS_EP01、DMDRS_EP02和DMDRS_EP03)的运行用户对服务所在目录及子目录的读、写和执行权限,并设置运行用户同数据库归档文件所在目录属同一用户组,此用户组应对归档文件所在目录及子目录有读权限。

  2. 设置目标DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限。

3 设置环境变量

在源DMDRS(DMDRS_EP01、DMDRS_EP02和DMDRS_EP03)和目标DMDRS服务器的环境变量中添加DMDPI驱动文件路径。

  1. 打开.bash_profile配置文件。

    $ vi ~/.bash_profile
  2. 在.bash_profile配置文件末尾增加DMDPI驱动路径。

    export LD_LIBRARY_PATH=<DMDPI驱动路径>:$LD_LIBRARY_PATH
  3. 保存并退出vi编辑器,使环境变量生效。

    $ source ~/.bash_profile
  4. 查看环境变量是否设置成功。

    $ echo $LD_LIBRARY_PATH

4 开启源数据库的归档和逻辑日志

使用动态配置的方式开启源数据库MPP所有节点的归档和逻辑日志。

  1. 挂载源数据库。

    SQL> alter database mount;
  2. 开启源数据库归档模式。

    SQL> alter database archivelog;
  3. 源数据库添加归档日志配置项。

    SQL> alter database add archivelog 'DEST=/dm8/data/arch,TYPE=LOCAL,FILE_SIZE=512,SPACE_LIMIT=10240';
  4. 开启源数据库。

    SQL> alter database open;
  5. 配置源数据库逻辑日志。

    SQL> call sp_set_para_value(1,'RLOG_APPEND_LOGIC',1);

5 配置和启动目标DMDRS服务

介绍目标DMDRS服务的配置和启动方法。按顺序先启动目标DMDRS服务,再启动源DMDRS服务。

说明

以下DMDRS服务的配置文件仅为示例,在实际应用场景中,请根据实际搭建环境修改配置文件中的参数配置,具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》

  1. 在目标DMDRS服务的配置文件目录,打开并修改exec.xml配置文件,修改后配置文件如下所示。

    注意

    配置文件中的siteid为必配参数,配置时请确保各节点源DMDRS服务和目标DMDRS服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。

    <?xml version="1.0" encoding="GB18030"?> <drs> <base> <mgr_port>5345</mgr_port> <siteid>站点号</siteid> </base> <exec> <name>exec_dsc</name> <login> <dbtype>dsc</dbtype> <server>DMDSC</server> <user>DMDRS</user> <pwd>DMDRS</pwd> </login> </exec> </drs>
  2. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。

    $ cp TemplateService ../DrsService
  3. 打开并修改DrsService服务脚本中的相关配置参数。

    $ vi DrsService
    INSTALL_HOME=/home/dmdrs/dmdrs5 PROG_DIR=/home/dmdrs/dmdrs5/bin CONF_PATH=/home/dmdrs/dmdrs5/bin/exec.xml EXEC_PROG_NAME=drsvr SERVICE_TYPE_NAME="drs server"
  4. 启动目标DMDRS服务。

    $ ./DrsService start

6 配置和启动源DMDRS服务

介绍源DMDRS服务的配置和启动方法。按顺序先启动目标DMDRS服务,再启动源DMDRS服务。

分别配置和启动部署在MPP EP01节点、EP02节点和EP03节点的源DMDRS服务,启动无先后顺序要求。

说明

以下DMDRS服务的配置文件仅为示例,在实际应用场景中,请根据实际搭建环境修改配置文件中的参数配置,具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》

配置和启动MPP EP01节点的源DMDRS服务

  1. 在部署在EP01节点的源DMDRS服务的配置文件目录,打开并修改cpt.xml配置文件,修改后配置文件如下所示。

    注意

    配置文件中的siteid为必配参数,配置时请确保各节点源DMDRS服务和目标DMDRS服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。

    <?xml version="1.0" encoding="GB18030"?> <drs> <base> <mgr_port>5345</mgr_port> <siteid>站点号</siteid> </base> <cpt> <name>cpt_mpp_01</name> <login> <dbtype>dm8_mpp_local</dbtype> <server>192.168.20.24</server> <user>SYSDBA</user> <pwd>SYSDBA</pwd> <port>5236</port> </login> <send> <ip>192.168.20.21</ip> <port>5345</port> <target_name>exec_dsc</target_name> <map> <item>RESOURCES.*==RESOURCES.*</item> </map> </send> </cpt> </drs>
  2. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。

    $ cp TemplateService ../DrsService
  3. 打开并修改DrsService服务脚本中的相关配置参数。

    $ vi DrsService
    INSTALL_HOME=/home/dmdrs/dmdrs5 PROG_DIR=/home/dmdrs/dmdrs5/bin CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt.xml EXEC_PROG_NAME=drsvr SERVICE_TYPE_NAME="drs server"
  4. 启动EP01节点的源DMDRS服务。

    $ ./DrsService start
  5. 在EP01节点的源DMDRS服务启动控制台。

    $ ./drcsl cpt.xml
  6. 连接EP01节点的源DMDRS服务。

    CSL> connect
  7. 设置源数据库当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置,请参考《DMDRS控制台命令手册》进行设置。

    CSL> alter cpt_mpp_01 set lsn
  8. 启动EP01节点的源DMDRS服务中的CPT模块。

    CSL> start

配置和启动MPP EP02节点和EP03节点的源DMDRS服务

配置和启动MPP EP02节点和EP03节点的源DMDRS服务的步骤同EP01节点。

在EP01节点的配置文件cpt.xml基础上配置EP02节点和EP03节点的cpt.xml配置文件。注意修改配置文件中的siteid、name和server参数,使其在整个链路中保持唯一。

  • siteid参数:EP01节点配置为1001,EP02节点配置为1002,EP03节点配置为1003。

  • name参数:EP01节点配置为cpt_mpp_01,EP02节点配置为cpt_mpp_02,EP03节点配置为cpt_mpp_03。

  • server参数:EP01节点配置为192.168.20.24,EP02节点配置为192.168.20.25,EP03节点配置为192.168.20.26。

7 添加同步表

  1. 将源数据库中RESOURCES模式下所有的表添加同步,添加后将源数据库的全量数据装载到目标数据库,并将增量数据同步到目标数据库。

    1. 在MPP EP01节点的源DMDRS服务执行添加同步表命令。

      CSL> alter cpt_mpp_01 add table "sch.name='RESOURCES'"
    2. 在MPP EP02节点的源DMDRS服务执行添加同步表命令。

      CSL> alter cpt_mpp_02 add table "sch.name='RESOURCES'" INSERT
    3. 在MPP EP03节点的源DMDRS服务执行添加同步表命令。

      CSL> alter cpt_mpp_03 add table "sch.name='RESOURCES'" INSERT
    注意
    • 如果源MPP数据库的数据是FULLY分布模式,仅需要在EP01节点执行添加同步表命令,其他节点无需再执行该命令。
    • 如果源MPP数据库的数据是非FULLY分布模式,对于非EP01节点,执行添加同步表命令时只能添加INSERT掩码,不进行建表同步,仅装载数据。如果需要使用其他掩码,只能在EP01节点上执行添加同步表命令时添加。
    • 只有在EP01节点添加同步表命令执行完成后,才可在其他节点执行添加同步表命令,否则可能造成数据装载失败。
  2. 使用命令查看数据装载的监控信息,具体命令请参见《DMDRS控制台命令手册》

8 验证同步结果

在源数据库中RESOURCES模式下所有的表中分别插入数据,如果插入的数据能正确地同步到目标数据库,则表示数据同步成功。

评论
后发表回复

作者

文章

阅读量

获赞

扫一扫
联系客服