注册
一文读懂达梦数据复制软件 DMDRS:从迁移、同步到分发与转换
技术分享/ 文章详情 /

一文读懂达梦数据复制软件 DMDRS:从迁移、同步到分发与转换

科技不收敛 2026/11/06 209 0 0

在国产化替代和多数据中心建设的大背景下,"数据怎么从 A 库安全、实时、一致地流到 B 库"几乎是每个 DBA 和架构师都绕不开的问题。达梦数据复制软件 DMDRS正是为此而生的一款产品。本文从定位、架构、核心能力、典型场景和使用注意事项几个角度,带大家快速建立对 DMDRS 的整体认识。


一、DMDRS 是什么?

一句话概括:DMDRS 是一款面向同构数据库、异构数据库以及各类数据管理系统之间的数据复制软件。

它采用模块化设计——把日志捕获、数据执行、流存储、数据转换、定时调度拆成独立模块,按需组合,就能拼出不同用途的复制服务。围绕这个思路,DMDRS 提供四大核心功能:

功能 一句话说明 典型用途
数据迁移 把源库全量数据/对象一次性搬到目标库,支持断点续传 源库静态、迁移后业务切换
数据同步 全量装载 + 增量实时同步,保持源和目标持续一致 容灾、双活、读写分离、报表
数据分发 全量和增量数据先落到流存储,再分发给多个目标端 一对多、TB 级大数据量同步
数据转换 对全量和增量数据做自定义清洗、转换 可叠加在上述三种场景中使用

其中数据同步还支持一对一、双向、一对多、多对一、级联、环形以及 DMDRS 主备等多种拓扑。


二、兼容性:能连哪些库、跑在哪些平台?

软硬件平台

  • CPU:龙芯、飞腾、鲲鹏、海光、兆芯、申威、宏芯、X86、ARM
  • 操作系统:麒麟、UOS、凝思、Red Hat、Ubuntu、Solaris、AIX、Windows

数据库

角色 支持的数据库
源端 DM6 单机、DM7、DM8(单机/DSC/DPC/MPP)、Oracle 10g+(单机/RAC)、SQL Server 2008 R2/2016/2019、DB2 9.7/10.5/11.5、MySQL/MariaDB 5.6+、PostgreSQL 9.6/10/11/12/13、Kingbase V6/V8(Oracle 模式)
目标端 DM6 单机、DM7、DM8(单机/DSC/DPC)、Oracle 10g+(单机/RAC)、SQL Server 2008 R2/2016/2019、DB2 9.7/10.5/11.5、MySQL/MariaDB 5.6+、Kafka 0.8.2+、PostgreSQL 9.6/11/12、Kingbase V8(Oracle 模式)、GBase 8s V8、Doris 4.0+

三、产品架构:六大模块 + 一个控制台

DMDRS 的核心模块包括 Manager、CPT、DSS、EXEC、CVT、SCHED,再加上 Console 远程控制工具。

                ┌──────────── 源 DMDRS (drsvr) ────────────┐
 源数据库 ──日志──▶ CPT:捕获 → 解析 → 投递   (+ CVT 可选) ├──┐
                └─────────────────────────────────────────┘  │
                                                             │ 直连
                     ┌──── DMDSS (dssvr) ────┐               │
                     │ DSS:按 Topic 流式持久化 │◀──── 分发 ────┤
                     └───────────┬───────────┘               │
                                 ▼                           ▼
                ┌──────────── 目标 DMDRS (drsvr) ───────────┐
                │ EXEC:分组缓存 + 多线程并行入库 (+ CVT 可选) │──▶ 目标数据库
                └──────────────────────────────────────────┘
       Manager:每个服务都有,负责模块加载、监听、License 校验、命令执行
       SCHED:定时调度服务 (dschsvr)    Console:远程管理与监控

1. Manager:大管家

DMDRS 服务启动后最先运行的模块,负责:

  • 按配置加载 CPT、DSS、EXEC、SCHED 等模块,并按模块名管理;
  • 启动监听线程接收客户端连接;
  • 启动授权校验线程校验 License;
  • 接收、执行控制台命令,清理功能模块。

2. CPT:源端"抓数据"的核心

CPT 负责全量数据装载和增量数据的实时捕获、解析、投递,内部是一条流水线:

  1. 数据装载:通过源库接口查询抽取数据,发给目标 DMDRS;
  2. 添加同步表:把同步表和部分系统表的结构定义保存到本地磁盘(即"离线字典"),后续解析日志要用;
  3. 日志捕获:用优化的日志扫描算法实时捕获增量,放入分析队列;
  4. 日志解析:把日志转换成 DMDRS 内部统一的消息格式,放入投递队列;
  5. 消息投递:整理后放入发送队列,交给网络模块发送。

3. DSS:高吞吐的流存储

DSS 接收 CPT 发来的数据,按 Topic 主题分类流式持久化,供下游消费。技术上采用多线程并发 IO、内存池、数据页缓存和优化的页淘汰算法,支持从任意消费点、按消费规则消费,并支持主备架构以避免单点故障。可以理解成 DMDRS 自带的一个"专用 Kafka"。

4. EXEC:目标端"写数据"的核心

EXEC 接收全量装载或增量同步数据(也可以从 DSS 拉取),并在目标库应用:

  • 分组缓存:通过装载分组、等待分组、执行分组三类缓存,让全量装载和增量同步可以同时进行;
  • 多线程并行入库;
  • 分组执行:不同表分组可以用不同的事务执行策略、合并策略和优先级;
  • 表粒度同步 + 高效检查点算法,解决长事务导致的同步阻塞。

5. CVT:可编程的数据转换

CVT 用达梦自研的 DRS 语言编写转换规则,以单个操作为最小单元做实时清洗转换,支持:

  • 循环、条件、返回等语法和 + - * / not and or like 等运算符;
  • 数值、字符串、日期时间、类型转换等内置函数,以及自定义系统函数包;
  • HASH、B 树等容器结构,可存储键值对;
  • 联机查询,可在第三方库上做关联查询。

6. SCHED:定时调度

可定时执行 CVT 脚本、定时删除多 CPT 归档、定时服务守护、定时数据装载与同步、定时静态/动态数据校验。

7. Console:远程控制台

基于 TCP/IP,可以启停模块、查看统计和装载信息、查看/修改参数、查看命令帮助。

服务 = 模块的组合

模块组合起来,就是不同的服务:

服务 模块组成 程序 用途
源 DMDRS Manager + CPT (+CVT) drsvr 部署在源库服务器,装载 + 增量捕获解析投递
目标 DMDRS Manager + EXEC (+CVT) drsvr 接收消息并在目标库执行
DMDSS Manager + DSS dssvr 流式持久化存储,适合一对多分发,可配置集群
定时调度服务 Manager + SCHED dschsvr 各类定时任务
双向 / 级联 DMDRS Manager + CPT + EXEC (+CVT) drsvr 既捕获增量也执行同步,用于双向、级联、环形同步
主备决策 DMDRS Manager drsvr 持久化目标 DMDRS 主备节点信息;目标为 Kafka 且使用主备时必须配置

这种"积木式"设计是 DMDRS 的一大亮点:同一个 drsvr 程序,配置不同模块就是不同角色。

下面是我在两台 CentOS 7.9 测试机上实际搭出来的一对一链路:左边是源 DMDRS(Manager + CPT),右边是目标 DMDRS(Manager + EXEC),中间的连线就是同步链路。

fig01dfmrunning.png

实拍:drs_src_124(192.168.252.124)通过链路 link_hrms 同步到 drs_tgt_125(192.168.252.125),连线变蓝表示链路运行中。

DMDFM 为两端生成的配置文件,和上面讲的模块一一对应:源端是 <base> + <cpt>,目标端是 <base> + <exec>。

fig02srcdrsxml.png

fig03tgtdrsxml.png


四、核心功能特性

数据装载(迁移和同步共用)

  • 分组装载:把基表切成多份并行装载,目标端用表分组 LSN 过滤已装载数据对应的日志,实现并发快速装载;
  • 交换分区装载:分区表的每个分区各起一个线程装载成基表,再在目标端用交换分区合并成一张表;
  • 断点续传:小表整表装,大表切成数据集装,并记录每个数据集的状态:未开始的继续装、出错的重装、已成功的跳过;
  • 快速装载:目标库支持快速装载接口时(如 Oracle、DM),直接调用该接口入库。

数据同步

  • 动态增删同步表:已有链路中加表后,可自动先做全量再做增量,也可只做增量;
  • 离线日志解析:只有归档文件和离线字典时,不连库也能按过滤条件和 LSN 范围把归档解析成 SQL 文件,适合事后审计和排障;
  • 远程日志读:源库为 DSC(需 ASM 模式)、Oracle RAC、MySQL/MariaDB 时,源 DMDRS 可以部署在其他服务器上远程读取归档;
  • 数据库归档删除:已同步的归档可以删除或备份到指定目录,避免占满源库磁盘;
  • DMDRS 主备:一主一备,主节点所在库节点故障后自动切到备节点继续同步;
  • 对象映射 / 数据类型映射:支持库名/容器名、表空间、模式、表名映射,以及可自定义修改的类型映射。

数据分发

  • DMDRS + DMDSS 组成高性能、高吞吐的持久化分发服务;
  • 目标端可配置映射规则,只取需要的数据;
  • 支持 DMDSS 主备。

运维与可观测性

  • 自动化生成 XML 配置文件,降低上手门槛;
  • 添加跟踪:对指定对象开启跟踪,快速定位解析或同步故障;
  • 统计信息:CPT 可查看日志读取/解析/发送、事务和检查点信息;DSS 可查看生产者/消费者和主备集群信息;EXEC 可查看活动事务、分组、工作线程和同步表延迟等;
  • 检查点:以 LSN(Oracle 为 SCN)记录同步断点,用于故障恢复和断点续传;
  • 解析 DSS 日志流:可按表和 LSN 范围把 DSS 中的数据解析成 SQL 落盘,用于监控。

五、典型应用场景

1. 数据迁移

部署 源 DMDRS + 目标 DMDRS,直接抽取对象定义和数据,借助分组装载、快速装载和断点续传保证迁移完整且高效。适合"迁完就切"的场景。

2. 数据同步的多种拓扑

拓扑 部署方式 适用场景
一对一 源 + 目标 DMDRS 实时备份、读写分离、报表、双业务中心
双向 两端各一个双向 DMDRS 两端都有业务写入
一对多 源 DMDRS(多个 CPT)+ 多个目标 全量或分类下发到多个库
多对一 多个源 + 一个目标 汇总分析、数据仓库

3. 数据分发

部署 源 DMDRS + DMDSS + 多个目标 DMDRS。源端把数据写进 DMDSS 后就可以继续往下解析,不需要等目标端执行完成,因此:

  • 适合 TB 级及以上数据量、增量很大或归档保留时间短的场景,避免归档来不及解析就被删除而导致断档;
  • 天然适合一对多;
  • 代价是多了一层中间存储,实时性会略有损耗,而且对 DMDSS 服务器的磁盘性能和容量要求较高。

4. 数据转换

在源 DMDRS 或目标 DMDRS 上启用 CVT,可以对每一行记录做内容转换、拆分和函数处理。在源端转换适合分发前统一加工,在目标端转换适合按各个目标的需求分别加工。


六、部署要求与"踩坑"清单

部署位置

  • 源 DMDRS 必须与源库部署在同一台服务器(本地读归档):DM6 单机、DM7、DM8(单机、DPC)、Oracle 单机、DB2、PostgreSQL、Kingbase。

常见限制

  1. 不支持只有大对象列的表同步;
  2. DRS_$ 开头的表是 DMDRS 内部系统表,不能作为同步表;
  3. 带外键的表,相关联的表必须放在同一分组;
  4. 先装序列,再装表结构,否则使用序列作为默认值的表会装载失败;
  5. 服务器重启网络服务后,DMDRS 也要重启,否则会阻塞在网络上;

辅助表:一致性和去重靠它

  • 源端辅助表(源库为 DM 且 DDL 同步使用辅助表方式时):由 9 张普通表(如 DRS_$DDL_SQL、DRS_$DDL_COL 等)和 4 个库级触发器(如 DRS_$DDL_TRIGGER_BEFORE/AFTER)组成,用来捕获 DDL 信息;
  • 目标端辅助表:每个站点的每个分组一张,命名为 DRS_$<站点号>_<分组ID>(Doris 为 DRS_X...)。辅助表的更新和同步数据在同一个事务中提交,故障重启后靠它过滤已执行的事务,保证数据一致;双向或环形同步时,它还记录事务的链路信息,防止数据回流重复执行。

七、实战:用 DMDFM 搭一条 DM8 → DM8 同步链路

我在两台测试机(192.168.252.124 → 192.168.252.125,DMDRS V5.2.5.4)上用 DMDFM 网页实际搭了一遍。完整步骤见配套的《DMDRS 部署实施文档》。

1. 准备源库

源库需要开启归档和逻辑日志(ARCH_INI=1、RLOG_APPEND_LOGIC=1),并执行 DMDRS 自带的 ddl_sql_dm8.sql,创建 DDL 触发器和辅助表:

fig04srcarchcheck.png

fig05srcddltrigger.png

2. 登录 DMDFM,确认代理

DMDFM 默认账号是 admin/admin,首次登录后记得修改密码。首页显示"代理 2:0",说明两台主机的代理都已注册:

fig06dfmhome.png

3. 创建数据源并预检查

新建两个 DM8 数据源,点击"预检查",DMDFM 会自动检查归档、逻辑日志和 DDL 配置:

fig07dfmdssrcprecheck.png

4. 用模板创建工程

选择"一对一场景"模板,填好两端的服务名和站点号,再把映射规则设为 HRMS.*==HRMS.*:

fig08dfmprojectbasic.png

fig09dfmlinkmapping.png

5. 一键部署、启动、装载

两端服务一键部署成功:

fig10dfmdeployok.png

用"全量装载 + 增量同步"模式装载 3 张表、55,020 行,18 秒完成,0 失败:

fig11dfmloaddone.png

6. 踩坑:DMDFM 默认不同步 DDL

第一轮增量验证时,增删改都同步过去了,但加列、建表没有同步:

fig12verifydmlokddlmissing.png

原因是 DMDFM 模板生成的配置里 <ddl_mask/> 是空的。《DMDRS 参考手册》写得很清楚:不配置这个参数时,默认同步表、索引、约束的 DDL;配置为空则所有 DDL 都不同步。

解决办法:在源服务的"源配置 → DDL配置"里勾选需要同步的对象和操作,然后重启源服务:

fig13dfmddlconfig.png

改完之后,加列、建表、主键、索引这几条 DDL 都在 1 秒内同步到了目标库:

fig14csltgtddllag.png

经验:用 DMDFM 建好工程后,启动链路之前先配好 DDL,免得事后再补装漏掉的表。另外,这两台测试机没有导入正式 License,drcsl 会提示"无key状态下DRS性能受限制",上生产前一定要导入正式 key。


八、小结

DMDRS 的设计可以概括为三个关键词:

  • 模块化:Manager / CPT / DSS / EXEC / CVT / SCHED 像积木一样组合,一个 drsvr 可以扮演源端、目标端、双向或级联节点等不同角色;
  • 全场景:迁移、同步、分发、转换四类能力,加上一对一、双向、一对多、多对一、级联、环形、主备七种拓扑,基本覆盖了国产化迁移和多中心数据流转的常见需求;
  • 重一致:检查点、离线字典、辅助表事务绑定和链路去重,再加上断点续传和主备高可用,确保数据"不丢、不重、可恢复"。

参考资料:达梦《DMDRS 产品介绍》V5.2.5.4

评论
后发表回复

作者

文章

阅读量

获赞

扫一扫
联系客服