业务规划
数据同步场景中已部署两个数据库,包括源数据库SQL Server(192.168.20.24)和目标数据库DM8(192.168.20.21),现需通过搭建DMDRS,将源数据库RESOURCES模式下所有表的全量数据和增量数据同步到目标数据库的RESOURCES模式。
源DMDRS:捕获源数据库的数据,将捕获到的数据发送到目标DMDRS。
目标DMDRS:将接收的数据同步到目标数据库。
网络规划
| DMDRS服务 | IP地址和端口 | 连接数据库 | 说明 |
|---|---|---|---|
| 源DMDRS | 192.168.20.24:5345 | 源数据库 SQL Server 192.168.20.24:1433 | 源DMDRS服务器需要安装ODBC驱动与源数据库SQL Server连接。 |
| 目标DMDRS | 192.168.20.21:5345 | 目标数据库 DM8 192.168.20.21:5236 | 目标DMDRS服务器需要安装DMDPI驱动与目标数据库DM8连接。 |
目录规划
源数据库、源DMDRS服务和目标DMDRS服务相关的目录规划如下表所示。
| 目录类型 | 目录名 | 目录示例 |
|---|---|---|
| 源数据库 | 数据库的库名 | DMDRS |
| 数据库DDL同步脚本目录 | C:\dmdrs5\bin\scripts | |
| 源DMDRS服务 | 安装目录 | C:\dmdrs5 |
| 执行程序目录 | C:\dmdrs5\bin | |
| 配置文件路径 | C:\dmdrs5\bin\cpt.xml | |
| 服务脚本模板目录 | C:\dmdrs5\bin\service_template | |
| 服务脚本目录 | C:\dmdrs5\bin | |
| console远程控制工具 | C:\dmdrs5\bin\drcsl | |
| 注册服务名 | DrsService | |
| 目标DMDRS服务 | 安装目录 | /home/dmdrs/dmdrs5 |
| 执行程序目录 | /home/dmdrs/dmdrs5/bin | |
| 配置文件路径 | /home/dmdrs/dmdrs5/bin/exec.xml | |
| 服务脚本模板目录 | /home/dmdrs/dmdrs5/bin/service_template | |
| 服务脚本目录 | /home/dmdrs/dmdrs5/bin | |
| console远程控制工具 | /home/dmdrs/dmdrs5/bin/drcsl |
设置源DMDRS服务的运行用户的管理员权限。
设置目标DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限。
在源DMDRS服务器的环境变量中添加ODBC驱动文件路径
在Windows桌面或“开始”菜单,右键单击“此电脑”,选择“属性”。
在打开的“设置”窗口中,选择“高级系统设置”。
在弹出的“系统属性”对话框的“高级”选项卡中,选择“环境变量”。
在“环境变量”对话框中,选择“系统变量”中系统变量“Path”,再选择“系统变量”下的“编辑”。
在“编辑环境变量”表格中,填写“ODBC驱动路径”。
重启服务器使环境变量配置生效。
在目标DMDRS服务器的环境变量中添加DMDPI驱动文件路径
打开.bash_profile配置文件。
$ vi ~/.bash_profile
在.bash_profile配置文件末尾增加DMDPI驱动路径。
export LD_LIBRARY_PATH=<DMDPI驱动路径>:$LD_LIBRARY_PATH
保存并退出vi编辑器,使环境变量生效。
$ source ~/.bash_profile
查看环境变量是否设置成功。
$ echo $LD_LIBRARY_PATH
设置源数据库的事务日志恢复模式为完整恢复模式。
SQL> alter database DMDRS set recovery FULL;
为了同步更新操作,需要开启源数据库的CDC功能记录完整的更新操作信息。数据库管理员可执行如下SQL语句开启CDC功能。
开启库级CDC功能。
SQL> USE <database_name>
GO
EXEC sys.sp_cdc_enable_db
GO;
开启表级CDC功能。
EXEC sys.sp_cdc_enable_table
@source_schema = <schema_name>,
@source_name = <table_name>,
@role_name = null,
@capture_instance = DEFAULT
GO;
说明通过配置DMDRS的装载掩码CDC也可以开启源数据库的CDC功能。
使用触发器方式配置DDL同步。
注意
- 创建DDL触发器前,必须先开启源数据库的库级CDC功能。
- 创建DDL触发器和辅助表时,请使用具有DBA权限的用户。
- 如果触发器或辅助表无效或缺失,会导致DDL同步失败,甚至会影响数据库。
在源数据库先执行“ddl_sql_mss_table.sql”脚本创建辅助表,再执行“ddl_sql_mss_trigger.sql”脚本创建触发器。脚本默认位置在DMDRS执行程序目录下的scripts子目录中。
执行创建辅助表脚本。
SQL> r ddl_sql_mss_table.sql
执行创建触发器脚本。
SQL> r ddl_sql_mss_trigger.sql
介绍源DMDRS服务和目标DMDRS服务的配置方法。
说明以下DMDRS服务的配置文件仅为示例,在实际应用场景中,请根据实际搭建环境修改配置文件中的参数配置,具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。
在目标DMDRS服务的配置文件目录,打开并修改exec.xml配置文件,修改后配置文件如下所示。
注意配置文件中的siteid为必配参数,配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。
<?xml version="1.0" encoding="GB18030"?>
<drs>
<base>
<mgr_port>5345</mgr_port>
<siteid>站点号</siteid>
</base>
<exec>
<name>exec_dm8</name>
<login>
<dbtype>dm8</dbtype>
<server>192.168.20.21</server>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
<port>5236</port>
</login>
</exec>
</drs>
在源DMDRS服务的配置文件目录,打开并修改cpt.xml配置文件,修改后配置文件如下所示。
注意配置文件中的siteid为必配参数,配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。
<?xml version="1.0" encoding="GB18030"?>
<drs>
<base>
<mgr_port>5345</mgr_port>
<siteid>站点号</siteid>
</base>
<cpt>
<name>cpt_mss</name>
<login>
<dbtype>SQL Server</dbtype>
<server>192.168.20.24,1433</server>
<dbname>DMDRS</dbname>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
</login>
<send>
<ip>192.168.20.21</ip>
<port>5345</port>
<target_name>exec_dm8</target_name>
<map>
<item>RESOURCES.*==RESOURCES.*</item>
</map>
</send>
</cpt>
</drs>
按照服务的运行顺序,启动目标DMDRS服务和源DMDRS服务。
将服务脚本模板TemplateService拷贝到服务脚本目录,并修改服务脚本模板的名称为DrsService。
$ cp TemplateService ../DrsService
打开并修改DrsService服务脚本中的相关配置参数。
$ vi DrsService
INSTALL_HOME=/home/dmdrs/dmdrs5 PROG_DIR=/home/dmdrs/dmdrs5/bin CONF_PATH=/home/dmdrs/dmdrs5/bin/exec.xml EXEC_PROG_NAME=drsvr SERVICE_TYPE_NAME="drs server"
启动目标DMDRS服务。
$ ./DrsService start
将注册、启动、停止和卸载服务脚本模板拷贝到服务脚本目录。
注册服务脚本:DrsServiceInstall.bat
启动服务脚本:DrsServiceStart.bat
停止服务脚本:DrsServiceStop.bat
卸载服务脚本:DrsServiceUninstall.bat
在服务脚本目录运行注册服务脚本DrsServiceInstall.bat注册源DMDRS服务。
在服务脚本目录运行启动服务脚本DrsServiceStart.bat启动源DMDRS服务。
使用服务脚本启动服务后,需要使用远程控制台对服务中的模块执行启动命令。
启动控制台。
C:\dmdrs5\bin>.\drcsl cpt.xml
连接源DMDRS服务。
CSL> connect
设置数据库当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置,请参考《DMDRS控制台命令手册》进行设置。
CSL> alter cpt_mss set lsn
启动源DMDRS服务中的CPT模块。
CSL> start
将源数据库中RESOURCES模式下所有的表添加同步,添加后自动将源数据库表的全量数据装载到目标数据库,装载完成后自动进行增量数据的同步。
根据不同需求可以使用不同的数据装载掩码,掩码说明具体请参见《DMDRS控制台命令手册》的添加同步表章节。
CSL> alter cpt_mss add table "sch.name='RESOURCES'"
使用命令查看数据装载的监控信息,具体命令请参见《DMDRS控制台命令手册》。
在源数据库中RESOURCES模式下所有的表中分别插入数据,如果插入的数据能正确地同步到目标数据库,则表示数据同步成功。
文章
阅读量
获赞
