在国产化替代和多数据中心建设的大背景下,"数据怎么从 A 库安全、实时、一致地流到 B 库"几乎是每个 DBA 和架构师都绕不开的问题。达梦数据复制软件 DMDRS正是为此而生的一款产品。本文从定位、架构、核心能力、典型场景和使用注意事项几个角度,带大家快速建立对 DMDRS 的整体认识。
一句话概括:DMDRS 是一款面向同构数据库、异构数据库以及各类数据管理系统之间的数据复制软件。
它采用模块化设计——把日志捕获、数据执行、流存储、数据转换、定时调度拆成独立模块,按需组合,就能拼出不同用途的复制服务。围绕这个思路,DMDRS 提供四大核心功能:
| 功能 | 一句话说明 | 典型用途 |
|---|---|---|
| 数据迁移 | 把源库全量数据/对象一次性搬到目标库,支持断点续传 | 源库静态、迁移后业务切换 |
| 数据同步 | 全量装载 + 增量实时同步,保持源和目标持续一致 | 容灾、双活、读写分离、报表 |
| 数据分发 | 全量和增量数据先落到流存储,再分发给多个目标端 | 一对多、TB 级大数据量同步 |
| 数据转换 | 对全量和增量数据做自定义清洗、转换 | 可叠加在上述三种场景中使用 |
其中数据同步还支持一对一、双向、一对多、多对一、级联、环形以及 DMDRS 主备等多种拓扑。
| 角色 | 支持的数据库 |
|---|---|
| 源端 | DM6 单机、DM7、DM8(单机/DSC/DPC/MPP)、Oracle 10g+(单机/RAC)、SQL Server 2008 R2/2016/2019、DB2 9.7/10.5/11.5、MySQL/MariaDB 5.6+、PostgreSQL 9.6/10/11/12/13、Kingbase V6/V8(Oracle 模式) |
| 目标端 | DM6 单机、DM7、DM8(单机/DSC/DPC)、Oracle 10g+(单机/RAC)、SQL Server 2008 R2/2016/2019、DB2 9.7/10.5/11.5、MySQL/MariaDB 5.6+、Kafka 0.8.2+、PostgreSQL 9.6/11/12、Kingbase V8(Oracle 模式)、GBase 8s V8、Doris 4.0+ |
DMDRS 的核心模块包括 Manager、CPT、DSS、EXEC、CVT、SCHED,再加上 Console 远程控制工具。
┌──────────── 源 DMDRS (drsvr) ────────────┐
源数据库 ──日志──▶ CPT:捕获 → 解析 → 投递 (+ CVT 可选) ├──┐
└─────────────────────────────────────────┘ │
│ 直连
┌──── DMDSS (dssvr) ────┐ │
│ DSS:按 Topic 流式持久化 │◀──── 分发 ────┤
└───────────┬───────────┘ │
▼ ▼
┌──────────── 目标 DMDRS (drsvr) ───────────┐
│ EXEC:分组缓存 + 多线程并行入库 (+ CVT 可选) │──▶ 目标数据库
└──────────────────────────────────────────┘
Manager:每个服务都有,负责模块加载、监听、License 校验、命令执行
SCHED:定时调度服务 (dschsvr) Console:远程管理与监控
DMDRS 服务启动后最先运行的模块,负责:
CPT 负责全量数据装载和增量数据的实时捕获、解析、投递,内部是一条流水线:
DSS 接收 CPT 发来的数据,按 Topic 主题分类流式持久化,供下游消费。技术上采用多线程并发 IO、内存池、数据页缓存和优化的页淘汰算法,支持从任意消费点、按消费规则消费,并支持主备架构以避免单点故障。可以理解成 DMDRS 自带的一个"专用 Kafka"。
EXEC 接收全量装载或增量同步数据(也可以从 DSS 拉取),并在目标库应用:
CVT 用达梦自研的 DRS 语言编写转换规则,以单个操作为最小单元做实时清洗转换,支持:
+ - * / not and or like 等运算符;可定时执行 CVT 脚本、定时删除多 CPT 归档、定时服务守护、定时数据装载与同步、定时静态/动态数据校验。
基于 TCP/IP,可以启停模块、查看统计和装载信息、查看/修改参数、查看命令帮助。
模块组合起来,就是不同的服务:
| 服务 | 模块组成 | 程序 | 用途 |
|---|---|---|---|
| 源 DMDRS | Manager + CPT (+CVT) | drsvr |
部署在源库服务器,装载 + 增量捕获解析投递 |
| 目标 DMDRS | Manager + EXEC (+CVT) | drsvr |
接收消息并在目标库执行 |
| DMDSS | Manager + DSS | dssvr |
流式持久化存储,适合一对多分发,可配置集群 |
| 定时调度服务 | Manager + SCHED | dschsvr |
各类定时任务 |
| 双向 / 级联 DMDRS | Manager + CPT + EXEC (+CVT) | drsvr |
既捕获增量也执行同步,用于双向、级联、环形同步 |
| 主备决策 DMDRS | Manager | drsvr |
持久化目标 DMDRS 主备节点信息;目标为 Kafka 且使用主备时必须配置 |
这种"积木式"设计是 DMDRS 的一大亮点:同一个 drsvr 程序,配置不同模块就是不同角色。
下面是我在两台 CentOS 7.9 测试机上实际搭出来的一对一链路:左边是源 DMDRS(Manager + CPT),右边是目标 DMDRS(Manager + EXEC),中间的连线就是同步链路。
实拍:drs_src_124(192.168.252.124)通过链路 link_hrms 同步到 drs_tgt_125(192.168.252.125),连线变蓝表示链路运行中。
DMDFM 为两端生成的配置文件,和上面讲的模块一一对应:源端是 <base> + <cpt>,目标端是 <base> + <exec>。
部署 源 DMDRS + 目标 DMDRS,直接抽取对象定义和数据,借助分组装载、快速装载和断点续传保证迁移完整且高效。适合"迁完就切"的场景。
| 拓扑 | 部署方式 | 适用场景 |
|---|---|---|
| 一对一 | 源 + 目标 DMDRS | 实时备份、读写分离、报表、双业务中心 |
| 双向 | 两端各一个双向 DMDRS | 两端都有业务写入 |
| 一对多 | 源 DMDRS(多个 CPT)+ 多个目标 | 全量或分类下发到多个库 |
| 多对一 | 多个源 + 一个目标 | 汇总分析、数据仓库 |
部署 源 DMDRS + DMDSS + 多个目标 DMDRS。源端把数据写进 DMDSS 后就可以继续往下解析,不需要等目标端执行完成,因此:
在源 DMDRS 或目标 DMDRS 上启用 CVT,可以对每一行记录做内容转换、拆分和函数处理。在源端转换适合分发前统一加工,在目标端转换适合按各个目标的需求分别加工。
DRS_$ 开头的表是 DMDRS 内部系统表,不能作为同步表;DRS_$DDL_SQL、DRS_$DDL_COL 等)和 4 个库级触发器(如 DRS_$DDL_TRIGGER_BEFORE/AFTER)组成,用来捕获 DDL 信息;DRS_$<站点号>_<分组ID>(Doris 为 DRS_X...)。辅助表的更新和同步数据在同一个事务中提交,故障重启后靠它过滤已执行的事务,保证数据一致;双向或环形同步时,它还记录事务的链路信息,防止数据回流重复执行。我在两台测试机(192.168.252.124 → 192.168.252.125,DMDRS V5.2.5.4)上用 DMDFM 网页实际搭了一遍。完整步骤见配套的《DMDRS 部署实施文档》。
源库需要开启归档和逻辑日志(ARCH_INI=1、RLOG_APPEND_LOGIC=1),并执行 DMDRS 自带的 ddl_sql_dm8.sql,创建 DDL 触发器和辅助表:
DMDFM 默认账号是 admin/admin,首次登录后记得修改密码。首页显示"代理 2:0",说明两台主机的代理都已注册:
新建两个 DM8 数据源,点击"预检查",DMDFM 会自动检查归档、逻辑日志和 DDL 配置:
选择"一对一场景"模板,填好两端的服务名和站点号,再把映射规则设为 HRMS.*==HRMS.*:
两端服务一键部署成功:
用"全量装载 + 增量同步"模式装载 3 张表、55,020 行,18 秒完成,0 失败:
第一轮增量验证时,增删改都同步过去了,但加列、建表没有同步:
原因是 DMDFM 模板生成的配置里 <ddl_mask/> 是空的。《DMDRS 参考手册》写得很清楚:不配置这个参数时,默认同步表、索引、约束的 DDL;配置为空则所有 DDL 都不同步。
解决办法:在源服务的"源配置 → DDL配置"里勾选需要同步的对象和操作,然后重启源服务:
改完之后,加列、建表、主键、索引这几条 DDL 都在 1 秒内同步到了目标库:
经验:用 DMDFM 建好工程后,启动链路之前先配好 DDL,免得事后再补装漏掉的表。另外,这两台测试机没有导入正式 License,
drcsl会提示"无key状态下DRS性能受限制",上生产前一定要导入正式 key。
DMDRS 的设计可以概括为三个关键词:
drsvr 可以扮演源端、目标端、双向或级联节点等不同角色;参考资料:达梦《DMDRS 产品介绍》V5.2.5.4
文章
阅读量
获赞
