以源数据库为DM8 MPP(3节点)和目标数据库为DM8 DSC(3节点)为例,介绍在一对一数据同步场景中DMDRS的搭建流程。
说明源数据库为DM8 MPP时,不支持DDL同步。
业务规划
数据同步场景中已部署两个数据库,包括源数据库DM8 MPP(EP01节点192.168.20.24/EP02节点192.168.20.25/EP03节点192.168.20.26)和目标数据库DM8 DSC(192.168.20.21/192.168.20.22/192.168.20.23),现需通过搭建DMDRS,将源数据库RESOURCES模式下所有表的全量数据和增量数据(仅支持DML操作)同步到目标数据库的RESOURCES模式。
源DMDRS:部署在MPP的每个节点上,负责捕获本地节点的归档日志数据,并将捕获到的数据发送到目标DMDRS。
目标DMDRS:将接收的数据同步到目标数据库。
网络规划
| DMDRS服务 | IP地址和端口 | 连接数据库 | 说明 |
|---|---|---|---|
| 源DMDRS(部署在源数据库MPP EP01节点的DMDRS_EP01) | 192.168.20.24:5345 | 源数据库MPP EP01节点:192.168.20.24:5236 | 源DMDRS服务器需要安装DMDPI驱动与源数据库MPP的EP01节点连接。 |
| 源DMDRS(部署在源数据库MPP EP02节点的DMDRS_EP02) | 192.168.20.25:5345 | 源数据库MPP EP02节点:192.168.20.25:5236 | 源DMDRS服务器需要安装DMDPI驱动与源数据库MPP的EP02节点连接。 |
| 源DMDRS(部署在源数据库MPP EP03节点的DMDRS_EP03) | 192.168.20.26:5345 | 源数据库MPP EP03节点: 192.168.20.26:5236 | 源DMDRS服务器需要安装DMDPI驱动与源数据库MPP的EP03节点连接。 |
| 目标DMDRS | 192.168.20.21:5345 | 目标数据库 DSC 服务名: DMDSC | 目标DMDRS服务器需要安装DMDPI驱动与目标数据库DSC连接。 |
目录规划
源数据库、源DMDRS服务(DMDRS_EP01、DMDRS_EP02和DMDRS_EP03)和目标DMDRS服务相关的目录规划如下表所示。
| 目录类型 | 目录名 | 目录示例 |
|---|---|---|
| 源数据库 (EP01、EP02和EP03) |
数据库归档文件目录 | /dm8/data/arch |
| 数据库DDL同步脚本目录 | /home/dmdrs/dmdrs5/bin/scripts | |
| 源DMDRS服务 (DMDRS_EP01、DMDRS_EP02和DMDRS_EP03) |
安装目录 | /home/dmdrs/dmdrs5 |
| 执行程序目录 | /home/dmdrs/dmdrs5/bin | |
| 配置文件路径 | /home/dmdrs/dmdrs5/bin/cpt.xml | |
| 服务脚本模板目录 | /home/dmdrs/dmdrs5/bin/service_template | |
| 服务脚本目录 | /home/dmdrs/dmdrs5/bin | |
| console远程控制工具 | /home/dmdrs/dmdrs5/bin/drcsl | |
| 目标DMDRS服务 | 安装目录 | /home/dmdrs/dmdrs5 |
| 执行程序目录 | /home/dmdrs/dmdrs5/bin | |
| 配置文件路径 | /home/dmdrs/dmdrs5/bin/exec.xml | |
| 服务脚本模板目录 | /home/dmdrs/dmdrs5/bin/service_template | |
| 服务脚本目录 | /home/dmdrs/dmdrs5/bin | |
| console远程控制工具 | /home/dmdrs/dmdrs5/bin/drcsl |
设置源DMDRS服务(DMDRS_EP01、DMDRS_EP02和DMDRS_EP03)的运行用户对服务所在目录及子目录的读、写和执行权限,并设置运行用户同数据库归档文件所在目录属同一用户组,此用户组应对归档文件所在目录及子目录有读权限。
设置目标DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限。
在源DMDRS(DMDRS_EP01、DMDRS_EP02和DMDRS_EP03)和目标DMDRS服务器的环境变量中添加DMDPI驱动文件路径。
打开.bash_profile配置文件。
$ vi ~/.bash_profile
在.bash_profile配置文件末尾增加DMDPI驱动路径。
export LD_LIBRARY_PATH=<DMDPI驱动路径>:$LD_LIBRARY_PATH
保存并退出vi编辑器,使环境变量生效。
$ source ~/.bash_profile
查看环境变量是否设置成功。
$ echo $LD_LIBRARY_PATH
使用动态配置的方式开启源数据库MPP所有节点的归档和逻辑日志。
挂载源数据库。
SQL> alter database mount;
开启源数据库归档模式。
SQL> alter database archivelog;
源数据库添加归档日志配置项。
SQL> alter database add archivelog 'DEST=/dm8/data/arch,TYPE=LOCAL,FILE_SIZE=512,SPACE_LIMIT=10240';
开启源数据库。
SQL> alter database open;
配置源数据库逻辑日志。
SQL> call sp_set_para_value(1,'RLOG_APPEND_LOGIC',1);
介绍目标DMDRS服务的配置和启动方法。按顺序先启动目标DMDRS服务,再启动源DMDRS服务。
说明以下DMDRS服务的配置文件仅为示例,在实际应用场景中,请根据实际搭建环境修改配置文件中的参数配置,具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。
在目标DMDRS服务的配置文件目录,打开并修改exec.xml配置文件,修改后配置文件如下所示。
注意配置文件中的siteid为必配参数,配置时请确保各节点源DMDRS服务和目标DMDRS服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。
<?xml version="1.0" encoding="GB18030"?>
<drs>
<base>
<mgr_port>5345</mgr_port>
<siteid>站点号</siteid>
</base>
<exec>
<name>exec_dsc</name>
<login>
<dbtype>dsc</dbtype>
<server>DMDSC</server>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
</login>
</exec>
</drs>
将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
$ cp TemplateService ../DrsService
打开并修改DrsService服务脚本中的相关配置参数。
$ vi DrsService
INSTALL_HOME=/home/dmdrs/dmdrs5 PROG_DIR=/home/dmdrs/dmdrs5/bin CONF_PATH=/home/dmdrs/dmdrs5/bin/exec.xml EXEC_PROG_NAME=drsvr SERVICE_TYPE_NAME="drs server"
启动目标DMDRS服务。
$ ./DrsService start
介绍源DMDRS服务的配置和启动方法。按顺序先启动目标DMDRS服务,再启动源DMDRS服务。
分别配置和启动部署在MPP EP01节点、EP02节点和EP03节点的源DMDRS服务,启动无先后顺序要求。
说明以下DMDRS服务的配置文件仅为示例,在实际应用场景中,请根据实际搭建环境修改配置文件中的参数配置,具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。
配置和启动MPP EP01节点的源DMDRS服务
在部署在EP01节点的源DMDRS服务的配置文件目录,打开并修改cpt.xml配置文件,修改后配置文件如下所示。
注意配置文件中的siteid为必配参数,配置时请确保各节点源DMDRS服务和目标DMDRS服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。
<?xml version="1.0" encoding="GB18030"?>
<drs>
<base>
<mgr_port>5345</mgr_port>
<siteid>站点号</siteid>
</base>
<cpt>
<name>cpt_mpp_01</name>
<login>
<dbtype>dm8_mpp_local</dbtype>
<server>192.168.20.24</server>
<user>SYSDBA</user>
<pwd>SYSDBA</pwd>
<port>5236</port>
</login>
<send>
<ip>192.168.20.21</ip>
<port>5345</port>
<target_name>exec_dsc</target_name>
<map>
<item>RESOURCES.*==RESOURCES.*</item>
</map>
</send>
</cpt>
</drs>
将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
$ cp TemplateService ../DrsService
打开并修改DrsService服务脚本中的相关配置参数。
$ vi DrsService
INSTALL_HOME=/home/dmdrs/dmdrs5 PROG_DIR=/home/dmdrs/dmdrs5/bin CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt.xml EXEC_PROG_NAME=drsvr SERVICE_TYPE_NAME="drs server"
启动EP01节点的源DMDRS服务。
$ ./DrsService start
在EP01节点的源DMDRS服务启动控制台。
$ ./drcsl cpt.xml
连接EP01节点的源DMDRS服务。
CSL> connect
设置源数据库当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置,请参考《DMDRS控制台命令手册》进行设置。
CSL> alter cpt_mpp_01 set lsn
启动EP01节点的源DMDRS服务中的CPT模块。
CSL> start
配置和启动MPP EP02节点和EP03节点的源DMDRS服务
配置和启动MPP EP02节点和EP03节点的源DMDRS服务的步骤同EP01节点。
在EP01节点的配置文件cpt.xml基础上配置EP02节点和EP03节点的cpt.xml配置文件。注意修改配置文件中的siteid、name和server参数,使其在整个链路中保持唯一。
siteid参数:EP01节点配置为1001,EP02节点配置为1002,EP03节点配置为1003。
name参数:EP01节点配置为cpt_mpp_01,EP02节点配置为cpt_mpp_02,EP03节点配置为cpt_mpp_03。
server参数:EP01节点配置为192.168.20.24,EP02节点配置为192.168.20.25,EP03节点配置为192.168.20.26。
将源数据库中RESOURCES模式下所有的表添加同步,添加后将源数据库的全量数据装载到目标数据库,并将增量数据同步到目标数据库。
在MPP EP01节点的源DMDRS服务执行添加同步表命令。
CSL> alter cpt_mpp_01 add table "sch.name='RESOURCES'"
在MPP EP02节点的源DMDRS服务执行添加同步表命令。
CSL> alter cpt_mpp_02 add table "sch.name='RESOURCES'" INSERT
在MPP EP03节点的源DMDRS服务执行添加同步表命令。
CSL> alter cpt_mpp_03 add table "sch.name='RESOURCES'" INSERT
注意
- 如果源MPP数据库的数据是FULLY分布模式,仅需要在EP01节点执行添加同步表命令,其他节点无需再执行该命令。
- 如果源MPP数据库的数据是非FULLY分布模式,对于非EP01节点,执行添加同步表命令时只能添加INSERT掩码,不进行建表同步,仅装载数据。如果需要使用其他掩码,只能在EP01节点上执行添加同步表命令时添加。
- 只有在EP01节点添加同步表命令执行完成后,才可在其他节点执行添加同步表命令,否则可能造成数据装载失败。
使用命令查看数据装载的监控信息,具体命令请参见《DMDRS控制台命令手册》。
在源数据库中RESOURCES模式下所有的表中分别插入数据,如果插入的数据能正确地同步到目标数据库,则表示数据同步成功。
文章
阅读量
获赞
