业务规划
数据同步场景中已部署两个数据库,包括源数据库Oracle(RAC)(192.168.20.20/21/22)和目标数据库DMDSC(192.168.20.23/24/25),现需通过搭建DMDRS,将源数据库RESOURCES模式下表EMPLOYEE的全量数据和增量数据同步到目标数据库RESOURCES模式下的表EMPLOYEE中。
源DMDRS主备:捕获源数据库的数据,将捕获到的数据发送到目标DMDRS。
目标DMDRS主备:将接收的数据同步到目标数据库。
网络规划
| DMDRS服务 | IP地址和端口 | 站点号 | 连接数据库 | 说明 |
|---|---|---|---|---|
| 源DMDRS主节点 | 192.168.20.21:5345 | 1 | 源数据库Oracle (RAC) 节点2:192.168.20.21:1521/racdb ASM服务的服务名:192.168.20.21:1521/+ASM |
源DMDRS主节点服务器需要安装OCI驱动与源数据库Oracle(RAC)连接。 |
| 源DMDRS备节点1 | 192.168.20.20:5345 | 1 | 源数据库Oracle (RAC) 节点1:192.168.20.20:1521/racdb ASM服务的服务名:192.168.20.20:1521/+ASM |
源DMDRS备节点服务器需要安装OCI驱动与源数据库Oracle(RAC)连接。 |
| 源DMDRS备节点2 | 192.168.20.22:5345 | 1 | 源数据库Oracle (RAC) 节点3:192.168.20.22:1521/racdb ASM服务的服务名:192.168.20.22:1521/+ASM |
源DMDRS备节点服务器需要安装OCI驱动与源数据库Oracle(RAC)连接。 |
| 目标DMDRS主节点 | 192.168.20.24:5345 | 2 | 目标数据库DMDSC 数据库服务名:DMDSC ASM服务的服务名:DMASM 节点2:192.168.20.24:5236 |
目标DMDRS主节点服务器需要安装DMDPI驱动与目标数据库DMDSC连接。 |
| 目标DMDRS备节点1 | 192.168.20.23:5345 | 2 | 目标数据库DMDSC 数据库服务名:DMDSC ASM服务的服务名:DMASM 节点1:192.168.20.23:5236 |
目标DMDRS备节点服务器需要安装DMDPI驱动与目标数据库DMDSC连接。 |
| 目标DMDRS备节点2 | 192.168.20.25:5345 | 2 | 目标数据库DMDSC 数据库服务名:DMDSC ASM服务的服务名:DMASM 节点3:192.168.20.25:5236 |
目标DMDRS备节点服务器需要安装DMDPI驱动与目标数据库DMDSC连接。 |
目录规划
源数据库、源DMDRS服务和目标DMDRS服务相关的目录规划如下表所示。
| 目录类型 | 目录名 | 目录示例 |
|---|---|---|
| 源数据库 | 数据库归档文件目录 | /oradata/arch |
| 源DMDRS主节点 | 安装目录 | /home/dmdrs/dmdrs5 |
| 执行程序目录 | /home/dmdrs/dmdrs5/bin | |
| 配置文件路径 | /home/dmdrs/dmdrs5/bin/cpt_rac_master.xml | |
| 服务脚本模板目录 | /home/dmdrs/dmdrs5/bin/service_template | |
| 服务脚本目录 | /home/dmdrs/dmdrs5/bin | |
| console远程控制工具 | /home/dmdrs/dmdrs5/bin/drcsl | |
| 源DMDRS备节点 | 安装目录 | /home/dmdrs/dmdrs5 |
| 执行程序目录 | /home/dmdrs/dmdrs5/bin | |
| 配置文件路径 | /home/dmdrs/dmdrs5/bin/cpt_rac_slave.xml | |
| 服务脚本模板目录 | /home/dmdrs/dmdrs5/bin/service_template | |
| 服务脚本目录 | /home/dmdrs/dmdrs5/bin | |
| console远程控制工具 | /home/dmdrs/dmdrs5/bin/drcsl | |
| 目标DMDRS主节点 | 安装目录 | /home/dmdrs/dmdrs5 |
| 执行程序目录 | /home/dmdrs/dmdrs5/bin | |
| 配置文件路径 | /home/dmdrs/dmdrs5/bin/exec_master.xml | |
| 服务脚本模板目录 | /home/dmdrs/dmdrs5/bin/service_template | |
| 服务脚本目录 | /home/dmdrs/dmdrs5/bin | |
| console远程控制工具 | /home/dmdrs/dmdrs5/bin/drcsl | |
| 目标DMDRS备节点 | 安装目录 | /home/dmdrs/dmdrs5 |
| 执行程序目录 | /home/dmdrs/dmdrs5/bin | |
| 配置文件路径 | /home/dmdrs/dmdrs5/bin/exec_slave.xml | |
| 服务脚本模板目录 | /home/dmdrs/dmdrs5/bin/service_template | |
| 服务脚本目录 | /home/dmdrs/dmdrs5/bin | |
| console远程控制工具 | /home/dmdrs/dmdrs5/bin/drcsl |
设置源DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限,并设置运行用户同数据库归档文件所在目录属同一用户组,此用户组应对归档文件所在目录及子目录有读权限。
设置目标DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限。
在源DMDRS服务器的环境变量中添加OCI驱动文件路径,在目标DMDRS的服务器的环境变量中DMDPI驱动文件路径。
打开.bash_profile配置文件。
$ vi ~/.bash_profile
在.bash_profile配置文件末尾增加驱动路径。
源DMDRS服务器环境变量中添加OCI驱动路径。
export LD_LIBRARY_PATH=<OCI驱动路径>:$LD_LIBRARY_PATH
目标DMDRS服务器环境变量中添加DMDPI驱动路径。
export LD_LIBRARY_PATH=<DMDPI驱动路径>:$LD_LIBRARY_PATH
保存并退出vi编辑器,使环境变量生效。
$ source ~/.bash_profile
查看环境变量是否设置成功。
$ echo $LD_LIBRARY_PATH
注意修改数据库为归档模式需重启数据库服务,生产环境中需确认能否停机维护。
使用SQL*Plus登录到源数据库。
$ sqlplus / as sysdba
查看数据库归档模式是否开启。若数据库已经开启归档模式,则跳过步骤3到7。
SQL> archive log list
暂停数据库服务。
SQL> shutdown immediate
以mount方式启动Oracle数据库服务。
SQL> startup mount
开启数据库归档,并设置归档文件路径。
SQL> alter database archivelog;
SQL> alter system set db_recovery_file_dest='';
SQL> alter system set log_archive_dest='/oradata/arch';
重启数据库,使归档路径生效。
SQL> shutdown immediate;
SQL> startup mount;
将数据库切换到正常的工作状态。
SQL> alter database open;
查看数据库最小附加日志及全列日志是否开启。若数据库已经开启最小附加日志及全列日志,则跳过步骤9。
SQL> select supplemental_log_data_min from v$database;
SQL> select supplemental_log_data_all from v$database;
开启数据库最小附加日志及全列日志。
SQL> alter database add supplemental log data;
SQL> alter database add supplemental log data (ALL) columns;
Oracle 12c及以上版本需要开启enable_goldengate_replication参数。
SQL> alter system set enable_goldengate_replication = TRUE;
查看日志数据块校验是否开启。若已经开启数据块校验,则跳过步骤12。
SQL> select name, value from v$parameter where name = 'db_block_checksum';
开启日志数据块校验。
SQL> alter system set db_block_checksum = TYPICAL scope = BOTH;
介绍源DMDRS服务和目标DMDRS服务的配置方法。
说明以下DMDRS服务的配置文件仅为示例,在实际应用场景中,请根据实际搭建环境修改配置文件中的参数配置,具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。
在目标DMDRS主节点服务的配置文件目录,打开并修改exec_master.xml配置文件,修改后配置文件如下所示。
注意
- 配置文件中的siteid为必配参数,配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。
- 配置文件中的siteid为必配参数,配置时请确保DMDRS主节点和DMDRS备节点服务站点号一致,如果不一致,会造成主备链路中数据复制的混乱。
<?xml version="1.0" encoding="GB18030"?>
<drs>
<base>
<mgr_port>5345</mgr_port>
<siteid>站点号</siteid>
</base>
<exec>
<name>exec_dsc</name>
<login>
<dbtype>dsc</dbtype>
<server>DMDSC</server>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
</login>
<cluster>
<mode>master</mode>
<standby>
<item>
<ip>192.168.20.23</ip>
<port>5345</port>
<target_name>exec_dsc</target_name>
</item>
<item>
<ip>192.168.20.25</ip>
<port>5345</port>
<target_name>exec_dsc</target_name>
</item>
</standby>
</cluster>
</exec>
</drs>
在目标DMDRS备节点1和备节点2的服务的配置文件目录,打开并修改exec_slave.xml配置文件,修改后配置文件分别如下所示。
注意
- 配置文件中的siteid为必配参数,配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。
- 配置文件中的siteid为必配参数,配置时请确保DMDRS主节点和DMDRS备节点服务站点号一致,如果不一致,会造成主备链路中数据复制的混乱。
<?xml version="1.0" encoding="GB18030"?>
<drs>
<base>
<mgr_port>5345</mgr_port>
<siteid>站点号</siteid>
</base>
<exec>
<name>exec_dsc</name>
<login>
<dbtype>dsc</dbtype>
<server>DMDSC</server>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
</login>
<cluster>
<mode>slave</mode>
</cluster>
</exec>
</drs>
<?xml version="1.0" encoding="GB18030"?>
<drs>
<base>
<mgr_port>5345</mgr_port>
<siteid>站点号</siteid>
</base>
<exec>
<name>exec_dsc</name>
<login>
<dbtype>dsc</dbtype>
<server>DMDSC</server>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
</login>
<cluster>
<mode>slave</mode>
</cluster>
</exec>
</drs>
在源DMDRS主节点服务的配置文件目录,打开并修改cpt_rac_master.xml配置文件,修改后配置文件如下所示。
注意
- 配置文件中的siteid为必配参数,配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。
- 配置文件中的siteid为必配参数,配置时请确保DMDRS主节点和DMDRS备节点服务站点号一致,如果不一致,会造成主备链路中数据复制的混乱。
<?xml version="1.0" encoding="GB18030"?>
<drs>
<base>
<mgr_port>5345</mgr_port>
<siteid>站点号</siteid>
</base>
<cpt>
<name>cpt_rac</name>
<login>
<dbtype>Oracle</dbtype>
<server>192.168.20.21:1521/racdb</server>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
</login>
<send>
<ip>192.168.20.24</ip>
<port>5345</port>
<target_name>exec_dsc</target_name>
<map>
<item>RESOURCES.EMPLOYEE==RESOURCES.EMPLOYEE</item>
</map>
</send>
<rac>
<nodes>3</nodes>
<rac_type>ASM</rac_type>
<login>
<server>192.168.20.21:1521/+ASM</server>
<user>sys</user>
<pwd>default</pwd>
</login>
</rac>
<cluster>
<mode>master</mode>
<standby>
<item>
<ip>192.168.20.20</ip>
<port>5345</port>
<target_name>cpt_rac</target_name>
</item>
<item>
<ip>192.168.20.22</ip>
<port>5345</port>
<target_name>cpt_rac</target_name>
</item>
</standby>
</cluster>
</cpt>
</drs>
在源DMDRS备节点1和备节点2的服务的配置文件目录,打开并修改cpt_rac_slave.xml配置文件,修改后配置文件分别如下所示。
注意
- 配置文件中的siteid为必配参数,配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。
- 配置文件中的siteid为必配参数,配置时请确保DMDRS主节点和DMDRS备节点服务站点号一致,如果不一致,会造成主备链路中数据复制的混乱。
<?xml version="1.0" encoding="GB18030"?>
<drs>
<base>
<mgr_port>5345</mgr_port>
<siteid>1</siteid>
</base>
<cpt>
<name>cpt_rac</name>
<login>
<dbtype>Oracle</dbtype>
<server>192.168.20.20:1521/racdb</server>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
</login>
<send>
<ip>192.168.20.24</ip>
<port>5345</port>
<target_name>exec_dsc</target_name>
<map>
<item>RESOURCES.EMPLOYEE==RESOURCES.EMPLOYEE</item>
</map>
</send>
<rac>
<nodes>3</nodes>
<rac_type>ASM</rac_type>
<login>
<server>192.168.20.20:1521/+ASM</server>
<user>sys</user>
<pwd>default</pwd>
</login>
</rac>
<cluster>
<mode>slave</mode>
</cluster>
</cpt>
</drs>
<?xml version="1.0" encoding="GB18030"?>
<drs>
<base>
<mgr_port>5345</mgr_port>
<siteid>站点号</siteid>
</base>
<cpt>
<name>cpt_rac</name>
<login>
<dbtype>Oracle</dbtype>
<server>192.168.20.22:1521/racdb</server>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
</login>
<send>
<ip>192.168.20.24</ip>
<port>5345</port>
<target_name>exec_dsc</target_name>
<map>
<item>RESOURCES.EMPLOYEE==RESOURCES.EMPLOYEE</item>
</map>
</send>
<rac>
<nodes>3</nodes>
<rac_type>ASM</rac_type>
<login>
<server>192.168.20.22:1521/+ASM</server>
<user>sys</user>
<pwd>default</pwd>
</login>
</rac>
<cluster>
<mode>slave</mode>
</cluster>
</cpt>
</drs>
按照服务的运行顺序,启动目标DMDRS主节点服务、目标DMDRS备节点服务、源DMDRS主节点服务和源DMDRS备节点服务。
将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
$ cp TemplateService ../DrsService
打开并修改DrsService服务脚本中的相关配置参数。
$ vi DrsService
INSTALL_HOME=/home/dmdrs/dmdrs5 PROG_DIR=/home/dmdrs/dmdrs5/bin CONF_PATH=/home/dmdrs/dmdrs5/bin/exec_master.xml EXEC_PROG_NAME=drsvr SERVICE_TYPE_NAME="drs server"
启动目标DMDRS主节点服务。
$ ./DrsService start
在备节点1和备节点2上,将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
$ cp TemplateService ../DrsService
打开并修改DrsService服务脚本中的相关配置参数。
$ vi DrsService
INSTALL_HOME=/home/dmdrs/dmdrs5 PROG_DIR=/home/dmdrs/dmdrs5/bin CONF_PATH=/home/dmdrs/dmdrs5/bin/exec_slave.xml EXEC_PROG_NAME=drsvr SERVICE_TYPE_NAME="drs server"
启动目标DMDRS备节点1服务和备节点2服务。
$ ./DrsService start
将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
$ cp TemplateService ../DrsService
打开并修改DrsService服务脚本中的相关配置参数。
$ vi DrsService
INSTALL_HOME=/home/dmdrs/dmdrs5 PROG_DIR=/home/dmdrs/dmdrs5/bin CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt_rac_master.xml EXEC_PROG_NAME=drsvr SERVICE_TYPE_NAME="drs server"
启动源DMDRS主节点服务。
$ ./DrsService start
在备节点1和备节点2上,将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
$ cp TemplateService ../DrsService
打开并修改DrsService服务脚本中的相关配置参数。
$ vi DrsService
INSTALL_HOME=/home/dmdrs/dmdrs5 PROG_DIR=/home/dmdrs/dmdrs5/bin CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt_rac_slave.xml EXEC_PROG_NAME=drsvr SERVICE_TYPE_NAME="drs server"
启动源DMDRS备节点1服务和备节点2服务。
$ ./DrsService start
使用服务脚本启动服务后,需要使用远程控制台对服务中的模块执行启动命令。
启动控制台。
$ ./drcsl cpt_rac_master.xml
连接源DMDRS服务。
CSL> connect
设置数据库当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置,请参考《DMDRS控制台命令手册》进行设置。
CSL> alter cpt_rac set lsn
启动源DMDRS主节点服务中的CPT模块。
CSL> start
将源数据库中RESOURCES模式下的表EMPLOYEE添加同步,并在同步之前把源端表的全量数据装载到目标数据库。
根据不同需求可以使用不同的数据装载掩码,掩码说明具体请参见《DMDRS控制台命令手册》的添加同步表章节。
CSL> alter cpt_rac add table "sch.name='RESOURCES' and tab.name='EMPLOYEE'"
使用命令查看数据装载的监控信息,具体命令请参见《DMDRS控制台命令手册》。
在源数据库表RESOURCES.EMPLOYEE中插入数据,如果插入的数据能正确地同步到目标数据库,则表示数据同步成功。
文章
阅读量
获赞
