DMDRS迁移MYSQL数据到DM最佳实践

摘要站在现场实施人员的角度，对使用DMDRS工具迁移MYSQL数据到DM的详细过程做一个总结和分享，目的是为有相同需求而需要去做这件事的小伙伴提供一个方向，有据可循。

1 系统分析

在开始迁移之前，需要对源系统（MySQL）和目标系统（达梦数据库DM）进行全面分析。

1.1源系统分析

MySQL数据库所在服务器的CPU架构、操作系统版本，MySQL数据库的架构、版本、存储引擎、表结构、视图、存储过程、触发器、函数等信息。

类别	分析结果	备注
MYSQL数据库所在服务器的CPU	Intel Xeon Processor (Cascadelake) (x86_64架构)	后期准备将dmdrs部署到MYSQL数据库所在的服务器，申请对应环境的DMDRS安装包，所以需要明确CPU和操作系统。
MYSQL数据库所在服务器的操作系统	CentOS Linux 7
MYSQL架构	主从	一主一从
MYSQL版本	mysql 8.0.28	select version()
存储引擎	InnoDB	SELECT distinct engine FROM information_schema.tables where table_schema = 'cd-cloud-basic-ktqy' and table_type = 'BASE TABLE';

1.2目标系统分析

DM数据库所在服务器的CPU架构、操作系统版本，DM数据库的架构、版本等信息。

类别	分析结果	备注
DM数据库所在服务器的CPU	HygonC86 5385 16-core Processor(x86_64架构)	后期准备将dmdrs部署到DM数据库所在的服务器，申请对应环境的DMDRS安装包，所以需要明确CPU和操作系统。
DM数据库所在服务器的操作系统	Kylin Linux Advanced Server V10
DM架构	主备	一主一备
DM版本	DM Database Server 64 V8-1-4-6-2024.12.10-253020-20119-SEC

2.环境准备

2.1 数据库环境准备

DMDRS服务通过分析MySQL数据库的binlog日志来捕获数据库的增量数据。所以如果需要配置增量同步，需要开启binlog日志。

2.1.1检查mysql数据库是否开启binlog日志

通过以下两条命令检查binlog日志：

show variables like 'log_bin';
show variables like 'binlog_format';

以上显示的结果表示binlog日志已经开启，binglog的格式为ROW符合要求，有同步LOB数据的要求，max_allowed_packet参数也进行了配置。如果binlog日志未开启，则参考下列步骤开启binlog。

2.1.2开启源数据库的binlog日志

（1）设置MySQL数据库配置文件“my.ini”或“my.cnf”中server-id参数，设置log_bin参数值为mysql-bin，binlog_format参数值为row。当应用场景包含LOB数据的同步时，需要设置max_allowed_packet参数。

[mysqld]
server-id=1
log_bin=mysql-bin
binlog_format=row
max_allowed_packet=100M

（2）重启数据库服务，使配置生效。
（3）参照第一步查看数据库log_bin参数和binlog_format参数设置是否已生效。

2.1.3 创建数据库同步用户DMDRS

（1）源系统MYSQL创建同步用户并授权

CREATE USER `dmdrs`@`%` IDENTIFIED WITH 'xxxxx';
GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, RELOAD, PROCESS, REFERENCES, INDEX, ALTER, SHOW DATABASES, CREATE TEMPORARY TABLES, LOCK TABLES, EXECUTE, REPLICATION SLAVE, REPLICATION CLIENT, CREATE VIEW, SHOW VIEW, CREATE ROUTINE, ALTER ROUTINE, CREATE USER, EVENT, TRIGGER ON *.* TO `dmdrs`@`%` WITH GRANT OPTION;

（2）目标系统DM创建同步用户并授权

CREATE TABLESPACE DMDRS DATAFILE 'DMDRS.DBF' SIZE 2048 AUTOEXTEND ON MAXSIZE 67108863;
CREATE USER "DMDRS" IDENTIFIED BY "xxxxx" DEFAULT TABLESPACE "DMDRS";
--这里为了使用方便授予了DBA权限，如果不方便授予DBA权限的，同步用户最小权限请参见各数据库的DMDRS搭建手册。
GRANT "DBA" TO "DMDRS";

2.1.4 创建需要同步的用户和对应的表空间

对于需要同步的数据，在目标端DM需要有对应的用户，同时建议一个用户对应一个独立的表空间，在此，仅列举出一个用户和对应表空间的创建，其余用户都可以参考。

create tablespace info_ktqy DATAFILE 'info_ktqy.dbf' size 2048 AUTOEXTEND ON MAXSIZE 67108863;
create user info_ktqy identified by "xxxxx" default tablespace info_ktqy;

2.2 DMDRS环境准备

2.2.1 DMDRS端口和目录规划

在配置DMDRS服务前，需规划DMDRS服务的Manager管理模块的端口号。

类型	Manager管理端口	备注
源端	5345	DMDRS源端管理模块配置5345端口，但是发往目的端的时候，因存在ip和端口的映射，所以应配置映射以后的ip和端口。
目的端	5345	DMDRS目的端管理模块配置5345端口

需要注意的是：如果在同一台服务器上部署不同的服务，必须确保这些服务的Manager管理模块的端口号的唯一性。

2.2.2设置运行用户权限

在linux上面，不推荐使用root用户来安装和运行DMDRS（DMDRS安装的时候会强制使用非root用户），需要创建单独的用户来安装和运行DMDRS，并确保运行用户具有DMDRS服务所在目录及子目录的读、写和执行权限。源DMDRS的运行用户应同数据库归档文件目录属同一用户组，该用户组对归档文件所在目录及子目录有读权限。

2.2.3 安装规划

类型	安装用户	安装路径
源端	cloudos	/mysql/dmdrs5
目的端	dmdba	/home/dmdba/dmdrs5

2.2.4 安装过程

（1）源端安装DMDRS

$ ./dmdrs_rev179361_x86_rh6_64_20250106.bin -i
Extract install files..........

Please select the installer's language (E/e:English C/c:Chinese)[E/e]:c（c代表中文安装）
-----------欢迎使用达梦数据复制软件安装工具-----------
输入[exit]可退出安装。
-----------安装目录-----------
指定安装目录[/var/lib/cloudos/dmdrs5]:/mysql/dmdrs5**（输入安装路径）**
-----------安装组件-----------
请选择需要安装的组件
1.安装达梦数据融合管理平台
2.安装代理
请选择安装组件数字序号(使用空格间隔):1 2**（安装融合管理平台和代理，必须选择一个或两个都选择）**
选择的组件有:
1.安装达梦数据融合管理平台
2.安装代理
"确认?[Y/y(确认选择) or N/n(重新选择)]:y
-----------许可证文件-----------
1.免费试用达梦数据复制软件(必须在试用期范围内使用，反复安装无效，使用时间为3个月)
2.使用许可证文件
指定许可证文件(1,2)[1]:2**（指定许可证）**
请输入许可证文件路径:/mysql/dmdrs_install/dmdrs.key**（输入许可证文件路径）**
许可证文件限制信息如下：
有效日期:2025-06-25
授权顾客名称：达梦公司产品试用
项目名称:达梦公司产品试用
许可证编号:C101900110
版本类型:试用版
授权数据库类型:DM6、DM7、DM8、Oracle、SQL Server、MySQL、DB2、PostgreSQL
当前默认许可证文件支持数据库类型为[DM6、DM7、DM8、Oracle、SQL Server、MySQL、DB2、PostgreSQL]，是否继续安装?[Y/y or N/n]:y**（继续安装）**
-----------配置-----------
依赖环境配置 -数据库动态库路径[]:/mysql/dmdrs5/bin**（先输入dmdrs的bin路径，后续可以更改）**
注意：代理配置IP不允许设置成127.0.0.1!
代理配置-代理IP(100.100.2.126,172.64.116.141):172.64.116.141**（用于代理的，如果不使用代理，这个地方随便输入一个非127.0.0.1的IP就行）**
代理配置-代理端口[19345]:
达梦数据融合管理平台配置-管理平台端口[8080]:
是否使用外置库(0:不使用  1:使用 )[0]:
-----------安装小结-----------
安装目录:[/mysql/dmdrs5]
依赖环境配置-NEED_LIB_PATH:[/mysql/dmdrs5/bin]
代理IP:[172.64.116.141]
代理端口:[19345]
达梦数据融合管理平台IP:[127.0.0.1]
达梦数据融合管理平台端口:[8080]
内置库信息：
数据库IP:[127.0.0.1]
数据库端口:[15236]
用户名:[SYSDBA]
密码:[******]
所需磁盘空间/可用磁盘空间:[2,357 MB/1,049,181 MB]
确认安装?[Y/y or N/n]:y**（确认安装）**
-----------安装中-----------
server start ...    server finished.
default start ...    default finished.
agent start ...    agent finished.
web start ...    web finished.
doc start ...    doc finished.
db start ...    db finished.
安装成功
-----------系统服务-----------
内置数据库服务设置
1.注册系统服务
2.不注册系统服务
启动方式(1,2)[2]:
正在创建内置数据库服务....
达梦数据融合管理平台服务设置
1.注册系统服务
2.不注册系统服务
启动方式(1,2)[2]:
正在创建达梦数据融合管理平台服务....
达梦数据融合管理平台代理服务设置
1.注册系统服务
2.不注册系统服务
启动方式(1,2)[2]:
正在创建达梦数据融合管理平台代理服务....
正在启动服务[DmServiceDFDB]
正在启动服务[DfmWebService]
正在启动服务[DfmAgentService]
-----------安装总结-----------
达梦数据复制软件V5安装完成
地址:http://127.0.0.1:8080
用户名/密码:admin/admin
更多安装信息，请查看安装日志文件：/mysql/dmdrs5/log/install.log（安装完成）

（2）目的端安装DMDRS

[root@jcsjpt-2 dmdrs_install]# ./dmdrs_rev179361_x86_rh6_64_20250106.bin -i 
Extract install files..........

安装过程和上面一样。

2.2.5设置环境变量

DMDRS服务运行过程中，需要使用数据库的驱动文件访问数据库数据。
（1）源DMDRS服务需要使用MySQL C API驱动文件访问MySQL源数据库数据，用户需要在源DMDRS服务器的环境变量中添加MySQL C API驱动文件路径。
MySQL数据库对应的驱动：MySQL C API驱动。
在终端的配置文件中添加设置环境变量命令：

export LD_LIBRARY_PATH=<MySQL C API驱动路径>:$LD_LIBRARY_PATH

默认的MySQL C API驱动路径为：/usr/lib64/mysql，如果驱动放在这个路径下面，LD_LIBRARY_PATH未手动设置MySQL C API驱动路径的情况下，DMDRS启动后也会自动去这个路径下面搜索，通过：

cd /mysql/dmdrs5/bin
ldd libdbmysql.so

查看是否已经读取到MySQL数据库驱动，如下：

说明dmdrs已经读取到mysql数据库的驱动了，驱动文件是：/usr/lib64/mysql/libmysqlclient.so.18。如果驱动未放在/usr/lib64/mysql路径下，那么需要在LD_LIBRARY_PATH中指定，比如在/mysql/lib路径下，配置如下：

export LD_LIBRARY_PATH=/mysql/lib:$LD_LIBRARY_PATH

最终还是通过ldd libdbmysql.so来确认dmdrs是否已经读取到MySQL数据库驱动，读取的驱动是哪个路径下面的。
（2）目标DMDRS服务：需要使用目标数据库对应的驱动文件访问目标数据库数据，用户需要在目标DMDRS服务器的环境变量中添加各数据库对应的驱动文件路径。
DM8数据库对应的驱动：DMDPI驱动。
在终端的配置文件中添加设置环境变量命令：

export LIBPATH=<DMDPI驱动路径>:$LIBPATH

目的端通过

cd /home/dmdba/dmdrs5/bin
ldd libdredm.so

查看是否已经读取到DM数据库驱动，如下：

说明dmdrs已经读取到DM数据库的驱动了，驱动文件是：/home/dmdba/dmdbms/bin/libdmdpi.so。
LD_LIBRARY_PATH配置如下：

export LD_LIBRARY_PATH=/home/dmdba/dmdbms/bin:$LD_LIBRARY_PATH

说明：
（1）DMDRS源端或目的端的服务可以放在源端或目的端对应的数据库服务器上面，也可以放在非源端或目的端的第三台服务器上面（我们把它叫做DMDRS服务器），如果放在非源端或目的端的第三台服务器上面，那么请确保源DMDRS服务器与目标DMDRS服务器上已安装数据库的驱动，且驱动版本与数据库版本相匹配。
（2）DMDRS源端或目的端放在非源端或目的端的第三台服务器上面源端的配置文件也有差异，放在第三台服务器上就涉及到远程读取binlog日志的情况，需要在源端cpt节点下面增加配置：

<cpt_mask>parse:post:net_read</cpt_mask>
<server_id>100000</server_id>

如下：

server_id需要配置成和主从server_id都不一样的一个随机数字。
主从的server_id可以通过如下命令查看：

show variables like 'server_id'

3.DMDRS配置

3.1目的端drs.xml

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <lang>en</lang>
        <mgr_port>5345</mgr_port>     
        <siteid>2</siteid>
    </base>
    <exec>
        <name>sj_exec</name>
        <login>
            <dbtype>dm8</dbtype>
            <server>GRP1</server>
            <dbname></dbname>
            <user>dmdrs</user>
            <pwd>xxxxx</pwd>
            <port>15236</port>
        </login>
        <group>
            <item>
                <id>0</id>
                <error_policy>1</error_policy>
            </item>
        </group>
        <toggle_case>2</toggle_case>
    </exec>
</drs>

3.2源端drs.xml

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <lang>en</lang>
        <mgr_port>5345</mgr_port>     
        <siteid>1</siteid>
    </base>
    <cpt>
        <name>sj_cpt</name>
        <ddl_mask>OBJ:OP</ddl_mask>
        <login>
            <dbtype>mysql</dbtype>
            <server>xxx.xx.xxx.xxx</server>
            <dbname>xxxxx</dbname>
            <user>dmdrs</user>
            <pwd>xxxxx</pwd>
            <port>3306</port>
        </login>
        <send>
            <ip>xx.x.xxx.x</ip>
	 <!--目的端5345的映射端口是15346-->
            <port>15346</port>
            <target_name>sj_exec</target_name>
            <map>
                <item>cd-cloud-basic-ktqy.*==info_ktqy.*</item>
            </map>
        </send>
     </cpt>
</drs>

4.DMDRS服务管理和启动

4.1 DMDRS服务管理

DMDRS提供服务脚本模板TemplateService，用户可以修改和使用服务脚本模板快速地完成源DMDRS服务、目标DMDRS服务和DMDSS服务脚本的配置，通过服务脚本实现服务的启动、停止和重启。

4.1.1 目的端配置DMDRS服务脚本

1.将服务脚本模板TemplateService拷贝到执行程序目录，并修改服务脚本的名称为默认服务脚本名。

cd /home/dmdba/dmdrs5/bin
cp tableservice_template/TemplateService DmDrsService_SJ

2.打开并修改服务脚本中的相关配置参数。
vi DmDrsService_MHWZ
#set execute environment
#REPLACE INSTALL_HOME path
INSTALL_HOME=/home/dmdba/dmdrs5
#REPLACE program dir PROG_DIR=/home/dmdba/dmdrs5/bin
#REPLACE program config path
CONF_PATH=/home/dmdba/dmdrs5/bin/drs.xml
#REPLACE need library path, LD_LIBRARY_PATH/LIBPATH
NEED_LIB_PATH=/home/dmdba/dmdrs5/bin
#REPLACE program name, drsvr/dssvr/dvsvr
EXEC_PROG_NAME=drsvr
#REPLACE service type, drs server/dss server/dvs server
SERVICE_TYPE_NAME="drs server"

4.1.2 源端配置DMDRS服务脚本

1.将服务脚本模板TemplateService拷贝到执行程序目录，并修改服务脚本的名称为默认服务脚本名。

cd /mysql/dmdrs5/bin
cp tableservice_template/TemplateService DmDrsService_SJ

2.打开并修改服务脚本中的相关配置参数。
vi DmDrsService_SJ
#set execute environment
#REPLACE INSTALL_HOME path
INSTALL_HOME=/mysql/dmdrs5
#REPLACE program dir
PROG_DIR=/mysql/dmdrs5/bin
#REPLACE program config path
CONF_PATH=/mysql/dmdrs5/bin/drs.xml
#REPLACE need library path, LD_LIBRARY_PATH/LIBPATH
NEED_LIB_PATH=/usr/lib64/mysql:/mysql/dmdrs5/db/bin:/mysql/dmdrs5/bin

#REPLACE program name, drsvr/dssvr/dvsvr
EXEC_PROG_NAME=drsvr
#REPLACE service type, drs server/dss server/dvs server
SERVICE_TYPE_NAME="drs server"

4.2 DMDRS服务启动

4.2.1启动目标DMDRS服务

cd /mysql/dmdrs5/bin
DmDrsService_SJ start

4.2.2 启动源端DMDRS服务

cd /mysql/dmdrs5/bin
DmDrsService_SJ start

5.迁移数据

5.1 迁移表结构

迁移数据之前先单独迁移表结构，可以使用DMDRS迁移表结构，也可以用其他方式如DTS迁移表结构，视实际情况而定，在这里采用的是DTS来完成表结构的迁移。

5.2 迁移数据

1.启动控制台。

cd /mysql/dmdrs5/bin
./drcsl

2.连接源DMDRS服务。

CSL> connect 127.0.0.1:5345

3.设置lsn

CSL> alter sj_cpt set lsn

4.将xxxxx模式下的表全量迁移到目标数据库

alter sj_cpt add table "sch.name = 'cd-cloud-basic-ktqy'" truncate|insert|nolock|table

5.通过以下命令监控装载状态及进度
--查看装载状态

CSL> show sj_cpt load status

--查看装载的表的状态

CSL> show sj_cpt load table all

--查看正在装载的表

CSL> show sj_cpt load table running

--查看装载报错的表

CSL> show sj_cpt load table error

--装载失败的表继续装

CSL> alter sj_cpt add table "sch.name='cd-cloud-basic-yqfk-info'" continue

6.开启增量数据同步

CSL> start

5.3 验证迁移结果
验证源数据库中表的数据是否已成功迁移到目标数据库。

6.遇到的问题以及处理

6.1 dmdrs服务挂掉，产生core文件

原因：dmdrs服务启动以后默认可以向操作系统申请的最大内存为16g，而此时服务器剩余内存不足16g。
处理方法：
drs.xml配置文件的base节点增加以下配置：
<mem_size>12</mem_size>

减少dmdrs服务向操作系统申请内存值的上限。

6.2装载报错

原因是源端mysql库中库名称包含”-”符号，而dmdrs不支持。
处理方法：提需求，升级版本

6.3 dmdrs获取不到数据

原因：该表中包含json数据类型字段，而当前使用的驱动是libmysqlclient.so.18,这个版本的驱动没有提供访问json的接口。

处理方法：将18的驱动更换成21的驱动，在/usr/lib64目录下正好也存在21的驱动，将驱动的软连接指向21的驱动，处理过程如下：
cd /usr/lib64
sudo cp -r mysql mysql_bak
cd mysql/
sudo rm libmysqlclient_r.so.18
sudo rm libmysqlclient.so.18
sudo ln -s libmysqlclient.so.21 libmysqlclient.so.18

更改驱动以后重启dmdrs服务解决。

6.4源端正常读取日志，但是数据不同步

因为mysql的binlog日志在另外一台机器上，不在dmdrs的机器上面导致，排查过程：
1.show binary logs查看binlog日志编号是1125开头的，而dmdrs读取的是1123开头的binlog，两者对应不上

1.查看140上的mysql binlog日志
发现最新的binlog日志都在140上面

2.想着在141上面配置dmdrs读取140的归档
在源端增加下面两个配置，即可读取远程的归档日志
<cpt_mask>parse:post:net_read</cpt_mask>
<server_id>xxx</server_id>
结果配置了以后启动dmdrs服务报错：

最后把dmdrs迁移到140上面就正常了。