业务规划
双向数据同步场景中已部署两个数据库,包括数据库A MySQL(192.168.20.24)和数据库B MySQL(192.168.20.21),现需通过搭建DMDRS,将数据库A RESOURCES模式下表EMPLOYEE的全量数据和增量数据同步到数据库B的RESOURCES模式,同时也需要将数据库B RESOURCES模式下表EMPLOYEE的增量数据同步到数据库A RESOURCES模式下的表EMPLOYEE中,使数据库A和数据库B中两个表EMPLOYEE的数据保持一致。
双向DMDRS A:捕获数据库A的数据并发送到双向DMDRS B,同时将双向DMDRS B发送来的数据复制到数据库A。
双向DMDRS B:捕获数据库B的数据并发送到双向DMDRS A,同时将双向DMDRS A发送来的数据复制到数据库B。
网络规划
| DMDRS服务 | IP地址和端口 | 连接数据库 | 说明 |
|---|---|---|---|
| 双向DMDRS A | 192.168.20.24:5345 | 数据库A MySQL 192.168.20.24:3306 | 双向DMDRS A服务器需要安装MySQL C API驱动与数据库A连接。 |
| 双向DMDRS B | 192.168.20.21:5345 | 数据库B MySQL 192.168.20.21:3306 | 双向DMDRS B服务器需要安装MySQL C API驱动与数据库B连接。 |
目录规划
双向DMDRS A服务和双向DMDRS B服务相关的目录规划如下表所示。
| 目录类型 | 目录名 | 目录示例 |
|---|---|---|
| 双向DMDRS A | 安装目录 | /home/dmdrs/dmdrs5 |
| 执行程序目录 | /home/dmdrs/dmdrs5/bin | |
| 配置文件路径 | /home/dmdrs/dmdrs5/bin/drs.xml | |
| 服务脚本模板目录 | /home/dmdrs/dmdrs5/bin/service_template | |
| 服务脚本目录 | /home/dmdrs/dmdrs5/bin | |
| console远程控制工具 | /home/dmdrs/dmdrs5/bin/drcsl | |
| 双向DMDRS B | 安装目录 | /home/dmdrs/dmdrs5 |
| 执行程序目录 | /home/dmdrs/dmdrs5/bin | |
| 配置文件路径 | /home/dmdrs/dmdrs5/bin/drs.xml | |
| 服务脚本模板目录 | /home/dmdrs/dmdrs5/bin/service_template | |
| 服务脚本目录 | /home/dmdrs/dmdrs5/bin | |
| console远程控制工具 | /home/dmdrs/dmdrs5/bin/drcsl |
设置双向DMDRS A服务和双向DMDRS B服务的运行用户对各自服务所在目录及子目录的读、写和执行权限,并设置运行用户同数据库归档文件所在目录属同一用户组,此用户组应对归档文件所在目录及子目录有读权限。
在双向DMDRS A和双向DMDRS B的服务器的环境变量中添加MySQL C API驱动文件路径。
打开.bash_profile配置文件。
$ vi ~/.bash_profile
在.bash_profile配置文件末尾增加MySQL C API驱动路径。
export LD_LIBRARY_PATH=<MySQL C API驱动路径>:$LD_LIBRARY_PATH
保存并退出vi编辑器,使环境变量生效。
$ source ~/.bash_profile
查看环境变量是否设置成功。
$ echo $LD_LIBRARY_PATH
分别开启数据库A和数据库B的binlog日志。
设置MySQL数据库配置文件“my.ini”或“my.cnf”中server-id参数,设置log_bin参数值为mysql-bin,binlog_format参数值为row。当应用场景包含LOB数据的同步时,需要设置max_allowed_packet参数。
[mysqld] server-id=1 log_bin=mysql-bin binlog_format=row max_allowed_packet=100M
重启数据库服务,使配置生效。
查看数据库log_bin参数和binlog_format参数设置是否已生效。
SQL> show variables like 'log_bin';
SQL> show variables like 'binlog_format';
请根据创建数据库同步用户DMDRS和配置数据库同步用户最小权限创建源数据库和目标数据库的同步用户,并为数据库同步用户配置最小权限。
介绍双向DMDRS A服务和双向DMDRS B服务的配置方法。
说明
- 以下DMDRS服务的配置文件仅为示例,在实际应用场景中,请根据实际搭建环境修改配置文件中的参数配置,具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。
- 在双向同步场景中,如果需要同步序列值,cpt标签下还需要将filter_seq_userid参数配置为当前数据库上DMDRS服务的EXEC模块的登录用户的用户ID,exec标签下需要将seq_sync_mode参数配置为1。
在双向DMDRS A服务的配置文件目录,新建drs.xml配置文件,配置文件示例如下所示。
注意配置文件中的siteid为必配参数,配置时请确保双向DMDRS A和双向DMDRS B服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。如果配置时将双向DMDRS服务拆分为2个DMDRS服务,拆分后的CPT和EXEC模块对应服务的站点号需保持一致。
<?xml version="1.0" encoding="GB18030"?>
<drs>
<base>
<mgr_port>5345</mgr_port>
<siteid>站点号</siteid>
</base>
<cpt>
<name>cpt_mysql_A</name>
<login>
<dbtype>mysql</dbtype>
<server>192.168.20.24</server>
<dbname>RESOURCES</dbname>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
<port>3306</port>
</login>
<send>
<ip>192.168.20.21</ip>
<port>5345</port>
<target_name>exec_mysql_B</target_name>
<map>
<item>*.*==*.*</item>
</map>
</send>
</cpt>
<exec>
<name>exec_mysql_A</name>
<login>
<dbtype>mysql</dbtype>
<server>192.168.20.24</server>
<dbname>RESOURCES</dbname>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
<port>3306</port>
</login>
</exec>
</drs>
在双向DMDRS B服务的配置文件目录,新建drs.xml配置文件,配置文件示例如下所示。
注意配置文件中的siteid为必配参数,配置时请确保双向DMDRS A和双向DMDRS B服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。如果配置时将双向DMDRS服务拆分为2个DMDRS服务,拆分后的CPT和EXEC模块对应服务的站点号需保持一致。
<?xml version="1.0" encoding="GB18030"?>
<drs>
<base>
<mgr_port>5345</mgr_port>
<siteid>站点号</siteid>
</base>
<cpt>
<name>cpt_mysql_B</name>
<login>
<dbtype>mysql</dbtype>
<server>192.168.20.21</server>
<dbname>RESOURCES</dbname>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
<port>3306</port>
</login>
<send>
<ip>192.168.20.24</ip>
<port>5345</port>
<target_name>exec_mysql_A</target_name>
<map>
<item>*.*==*.*</item>
</map>
</send>
</cpt>
<exec>
<name>exec_mysql_B</name>
<login>
<dbtype>mysql</dbtype>
<server>192.168.20.21</server>
<dbname>RESOURCES</dbname>
<user>DMDRS</user>
<pwd>DMDRS</pwd>
<port>3306</port>
</login>
</exec>
</drs>
启动双向DMDRS A服务和双向DMDRS B服务。
说明当源数据库或目标数据库为MySQL时,启动DMDRS服务前,需要检查MySQL数据库相关的环境,具体请参见数据库环境检查章节。
启动双向DMDRS A服务和双向DMDRS B服务的方法一样,如下以启动双向DMDRS A服务为例说明。
将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。
$ cp TemplateService ../DrsService
打开并修改DrsService服务脚本中的相关配置参数。
$ vi DrsService
INSTALL_HOME=/home/dmdrs/dmdrs5 PROG_DIR=/home/dmdrs/dmdrs5/bin CONF_PATH=/home/dmdrs/dmdrs5/bin/drs.xml EXEC_PROG_NAME=drsvr SERVICE_TYPE_NAME="drs server"
启动双向DMDRS A服务。
$ ./DrsService start
使用服务脚本启动服务后,需要使用远程控制台对服务中的模块执行启动命令。
在双向DMDRS A服务启动控制台。
$ ./drcsl drs.xml
连接双向DMDRS A服务。
CSL> connect
设置数据库A当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置,请参考《DMDRS控制台命令手册》进行设置。
CSL> alter cpt_mysql_A set lsn
启动双向DMDRS A服务中的CPT模块。
CSL> start cpt_mysql_A
在双向DMDRS B服务启动控制台。
$ ./drcsl drs.xml
连接双向DMDRS B服务。
CSL> connect
设置数据库B当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置,请参考《DMDRS控制台命令手册》进行设置。
CSL> alter cpt_mysql_B set lsn
启动双向DMDRS B服务中的CPT模块。
CSL> start cpt_mysql_B
将数据库A中RESOURCES模式下的表EMPLOYEE添加同步。
CSL> alter cpt_mysql_A add table "sch.name='RESOURCES' and tab.name='EMPLOYEE'"
说明在双向同步场景中,仅需要在数据源所在的数据库上的DMDRS服务执行添加同步表的命令。
使用命令查看数据装载的监控信息,具体命令请参见《DMDRS控制台命令手册》。
分别在数据库A和数据库B中表RESOURCES.EMPLOYEE中插入数据,如果插入的数据能正确地同步到数据库B和数据库A,则表示数据双向同步成功。
文章
阅读量
获赞
