注册
DMDIS 单机部署与影子表增量同步实践
技术分享/ 文章详情 /

DMDIS 单机部署与影子表增量同步实践

wwhhdd 2026/11/06 131 0 0

DMDIS 单机部署与影子表增量同步实践

达梦数据集成软件(DMDIS)主要用于不同数据源之间的数据迁移、同步和清洗转换。通过组合数据读取、转换和写入组件,可以完成数据抽取、字段处理和目标装载,再通过作业编排和调度实现周期性执行。既可以直接进行库级多表装载,也可以针对单张表配置清洗规则和增量处理流程。

这次在本地搭建一套 DM8 到 DM8 的数据交换环境,使用人员表和部门表完成几组操作:先将人员表中的空电话替换后写入目标库,再通过库级流程一次装载多张表;随后配置影子表增量,验证源表插入、修改和删除后,目标数据是否对应更新,最后将增量转换关联到作业,每分钟自动执行一次。本文记录从单机安装、服务配置、数据源创建到流程运行和结果核对的完整过程。

1. 环境规划

项目 配置
操作系统 CentOS 7,x86_64
安装包 dmdis_rev226131_x86_linux_64_20260703.bin
DMDIS 版本 V5.2.0.1,Build 2026.07.03-226131
安装用户 dmdba
安装根目录 /home/dmdba/dmdis5
元数据库 内置 Derby
Web / SocketIO 端口 8082 / 9080
单机服务名 Dmdis5StandaloneService
源 DM8 192.0.2.10:5236,同时部署 DIS
目标 DM8 192.0.2.11:5236
实验用户 两端均为 DIS_LAB
工程 P_DIS_LAB

IP 使用示例地址,截图中的 DM8_130、DM8_132 分别为源、目标数据源名称。DIS 采用单机模式,使用内置 Derby 保存工程、数据源和调度配置。

清洗、批量装载和增量同步分别写入以下目标表:

流程 用途 目标表
TR_PERSON_FULL 读取人员表,将空电话替换为“未填写”后装载 T_PERSON_CLEAN
SY_DIS_FULL 一次装载人员表、部门表 T_PERSON_BATCH、T_DEPT_BATCH
TR_PERSON_CDC 首次装载及后续增删改同步,保留字段原值 T_PERSON_SYNC
JOB_PERSON_CDC 引用增量转换,由调度定期触发 同上

本次使用随包 REST SDK 创建和运行流程,在页面查看组件配置和执行记录,两端数据通过 SQL 核对。

2. 安装与启动

2.1 准备安装目录

安装包放在源服务器的 /root 下,由 root 复制到安装用户目录:

install -m 700 -o dmdba -g dmdba /root/dmdis_rev226131_x86_linux_64_20260703.bin /home/dmdba/dmdis_rev226131_x86_linux_64_20260703.bin

切换为 dmdba,检查内存、磁盘和端口,指定安装临时目录:

su - dmdba free -h df -h /tmp /home ss -lnt | grep -E ':(5236|8082|9080)\b' mkdir -p /home/dmdba/dis_install_tmp export DMDIS_INSTALL_TMPDIR=/home/dmdba/dis_install_tmp

数据库使用 5236,DIS 使用空闲的 8082、9080 端口。

2.2 命令行安装

dmdba 执行:

cd /home/dmdba ./dmdis_rev226131_x86_linux_64_20260703.bin -i

本次安装选项如下:

安装项 选择或填写
语言 输入 c,中文
许可证 输入 1,使用试用许可
安装类型 输入 1,单机模式
JDK 输入 1,默认 OpenJDK 8u452
外置库 输入 0,使用内置 Derby
安装根目录 /home/dmdba/dmdis5
服务配置 显示“服务配置”后按一次回车,继续填写参数
服务名 Dmdis5StandaloneService
管理平台端口 8082
管理员 admin,安装时设置口令
启动方式 输入 2,手动
确认安装 核对安装小结,输入 y

安装器在根目录下生成时间戳目录,本次为:

/home/dmdba/dmdis5/20261029194429054000

后续命令中的时间戳目录按实际安装路径替换。

2.3 配置内存和流程并发数

虚拟机物理内存约 1.5 GB,DIS 与 DM8 部署在同一台机器。为运行这组小数据量测试,将 DIS 默认的 6144 MB 堆上限调整为 512 MB,初始堆为 128 MB,流程并发数设为 1。

dmdba 修改服务配置:

vim /home/dmdba/dmdis5/20261029194429054000/standalone/standalone_service.conf
wrapper.java.initmemory=128 wrapper.java.maxmemory=512

前台启动脚本中两处 Java 命令使用相同的堆参数:

vim /home/dmdba/dmdis5/20261029194429054000/standalone/standalone_start.sh
-Xms128m -Xmx512m

修改单机配置:

vim /home/dmdba/dmdis5/20261029194429054000/standalone/config/standalone.ini
ENGINE_WORKER_COUNT = 1 START_SCHEDULER_ENGINE = 0

周期调度暂时关闭,流程运行正常后再开启。DM8 内存参数保持不变。

2.4 注册服务

dmdba 安装结束后,系统服务注册失败,切换 root 执行注册脚本:

/home/dmdba/dmdis5/20261029194429054000/standalone/install_standalone_service.sh

出现 Press enter to continue 时按回车。服务采用手工启停,关闭注册脚本添加的开机启动项:

chkconfig Dmdis5StandaloneService off

2.5 启动并登录

由 dmdba 启动服务:

su - dmdba /home/dmdba/dmdis5/20261029194429054000/standalone/standalone_service start /home/dmdba/dmdis5/20261029194429054000/standalone/standalone_service status

状态显示 Wrapper:STARTED, Java:STARTED 后,检查端口与日志:

ss -lnt | grep -E ':(8082|9080)\b' tail -30 /home/dmdba/dmdis5/20261029194429054000/log/dmdis_standalone.log

首次启动需要初始化 Derby 元数据库。端口开始监听后,页面曾短暂返回 404;待日志出现 Metadata engine started、Scheduler already Started 后,登录页面恢复正常。

访问示例地址:

http://192.0.2.10:8082/

使用 admin 和安装时设置的口令登录。单机模式内置管理器、调度器和原生执行器。此时调度服务已初始化,页面顶部的调度引擎暂未开启,可以先手工运行转换。

3. 准备两端实验数据

3.1 创建实验用户

在两端使用 SYSDBA 查询用户,确认不存在后创建:

SELECT USERNAME FROM DBA_USERS WHERE USERNAME = 'DIS_LAB'; CREATE USER DIS_LAB IDENTIFIED BY "REPLACE_WITH_LAB_PASSWORD"; GRANT PUBLIC, RESOURCE, SOI, SVI, VTI TO DIS_LAB;

REPLACE_WITH_LAB_PASSWORD 替换为实验账号口令,授权用于本次数据源浏览和读写。

3.2 源库建表

源库由 SYSDBA 执行,创建人员表和部门表:

CREATE TABLE DIS_LAB.T_PERSON ( ID INT PRIMARY KEY, NAME VARCHAR(50), PHONE VARCHAR(30), DEPT VARCHAR(30) ); CREATE TABLE DIS_LAB.T_DEPT ( CODE VARCHAR(30) PRIMARY KEY, DEPT_NAME VARCHAR(50) ); INSERT INTO DIS_LAB.T_PERSON VALUES (1, '张三', '13800000001', 'OPS'); INSERT INTO DIS_LAB.T_PERSON VALUES (2, '李四', NULL, 'DEV'); INSERT INTO DIS_LAB.T_PERSON VALUES (3, '王五', '13900000003', 'OPS'); INSERT INTO DIS_LAB.T_DEPT VALUES ('OPS', '运维部'); INSERT INTO DIS_LAB.T_DEPT VALUES ('DEV', '开发部'); COMMIT; SELECT * FROM DIS_LAB.T_PERSON ORDER BY ID; SELECT * FROM DIS_LAB.T_DEPT ORDER BY CODE;

人员表有 3 行,其中 ID=2 的电话为空;部门表有 2 行。先用这组数据完成全量装载,后面再修改源表验证增量。

3.3 目标库建表

目标库由 SYSDBA 执行,创建清洗结果表和增量同步表,暂不插入数据:

CREATE TABLE DIS_LAB.T_PERSON_CLEAN ( ID INT PRIMARY KEY, NAME VARCHAR(50), PHONE VARCHAR(30), DEPT VARCHAR(30) ); CREATE TABLE DIS_LAB.T_PERSON_SYNC ( ID INT PRIMARY KEY, NAME VARCHAR(50), PHONE VARCHAR(30), DEPT VARCHAR(30) );

多表装载使用的两张 _BATCH 表由 DIS 自动创建。

4. 添加数据源与工程

进入“设计 → 数据源”,右键“数据库”,选择“新建数据库数据源”,分别配置源、目标连接。

配置项 源数据源 目标数据源
名称 DM8_130 DM8_132
类型 DM8 DM8
地址(示例) 192.0.2.10 192.0.2.11
端口 5236 5236
用户 DIS_LAB DIS_LAB
口令 源库实验用户口令 目标库实验用户口令
驱动 内置 DM 驱动 内置 DM 驱动

两端测试连接成功后保存,并添加数据集:

  • DM8_130:DIS_LAB.T_PERSON、DIS_LAB.T_DEPT。
  • DM8_132:DIS_LAB.T_PERSON_CLEAN、DIS_LAB.T_PERSON_SYNC。

进入“设计 → 工程”,新建 P_DIS_LAB。

5. 单表全量清洗

5.1 连接组件

在 P_DIS_LAB → 转换 下新建 TR_PERSON_FULL,连接:

数据读取:表/视图 → 数据转换:数据清洗转换 → 数据写入:表

连接线选择“默认输出”。截图中的 PERSON_READ、PHONE_NULL_CLEAN、PERSON_CLEAN_WRITE 分别对应读取、清洗和写入组件。

06fullflow.jpg

5.2 读取与清洗配置

读取组件选择 DM8_130 下的 DIS_LAB.T_PERSON,全选 ID、NAME、PHONE、DEPT 四列。

在“数据清洗转换”中添加以下规则:

空值替换 → 字段若为NULL,该字段被替换为设定的值
项目 设置
处理列 PHONE
设定值 未填写
输出列 保留原来的 PHONE,不额外增加列

保存后,将输出列信息同步到下游写入组件。

5.3 写入与结果检查

项目 设置
数据源 DM8_132
数据集 DIS_LAB.T_PERSON_CLEAN
列匹配 四个业务列全部匹配
插入列 四列全选
插入更新 不启用
每次执行前清空目的表 不勾选,首次使用空表

运行转换后,在目标库查询:

SELECT * FROM DIS_LAB.T_PERSON_CLEAN ORDER BY ID;

本次结果为:

ID NAME PHONE DEPT
1 张三 13800000001 OPS
2 李四 未填写 DEV
3 王五 13900000003 OPS

普通插入重复执行会与目标已有主键冲突。重新全量装载前,先处理 T_PERSON_CLEAN 中的已有数据,或改用插入更新。

6. 一个流程装载多张表

多表装载使用库级“同步”流程,一次处理人员表和部门表,同步模式选择“仅装载”。

6.1 创建流程与配置源组件

在 P_DIS_LAB → 同步 下新建 SY_DIS_FULL,连接:

数据读取:数据库 → 数据写入:数据库

源组件配置:

项目 设置
数据源 DM8_130
同步模式 仅装载
白名单 DIS_LAB.T_PERSON、DIS_LAB.T_DEPT
表并发数 1
总并发数 1
表分组 所有表放在一个组,保留默认分组

白名单范围为人员表和部门表,CDC 辅助表不参与装载。

6.2 配置目标与名称映射

项目 设置
数据源 DM8_132
初始装载自动建表 勾选
快速装载 不启用
事务异常策略 停止整个流程

映射规则使用精确名称:

映射项 源 目标
模式 DIS_LAB DIS_LAB
表 T_PERSON T_PERSON_BATCH
表 T_DEPT T_DEPT_BATCH

在“自动建表”页查看生成的 DDL,确认目标名称为两张 _BATCH 表,再保存并运行。

6.3 检查装载结果

目标库查询:

SELECT * FROM DIS_LAB.T_PERSON_BATCH ORDER BY ID; SELECT * FROM DIS_LAB.T_DEPT_BATCH ORDER BY CODE;

本次自动建表成功,两张表分别为 3 行、2 行。由于没有经过清洗组件,T_PERSON_BATCH 中 ID=2 的 PHONE 仍为 NULL。

重新全量装载时,在源、目标组件中清理装载记录,并处理两张 _BATCH 表的已有数据。

7. 影子表增量同步

影子表方式通过比对源表与影子表产生增量,再由增量表组件读取并写入目标。本节先执行首次同步,再验证源表的插入、修改和删除。

7.1 添加影子表增量

在“设计 → 数据源”中,右键 DM8_130 下的 DIS_LAB.T_PERSON,选择“添加影子表增量”。

项目 设置
基表 T_PERSON
CDC 表模式 DIS_LAB
CDC 表 T_PERSON_SHADOW_CDC
CDC ID 列 CDC_ID
CDC 操作列 CDC_OPT
Shadow 表模式 DIS_LAB
Shadow 表 T_PERSON_SHADOW
初始化 CDC 勾选

“列信息”中,将 ID 设为定位列,四个业务列均参与检查和增量记录;CDC_ID、CDC_OPT 保留为操作信息列。

创建完成后,在数据源的 CDC 分类下可以找到对应增量数据集。

7.2 新建增量转换

在 P_DIS_LAB → 转换 下单独新建 TR_PERSON_CDC:

数据读取:增量表 → 数据写入:增量表

连接选择“默认输出”,PHONE 保留原值。

7.3 配置源增量表

项目 设置
数据源 DM8_130
数据集 DIS_LAB.T_PERSON_SHADOW_CDC
读取列 CDC_ID、CDC_OPT、ID、NAME、PHONE、DEPT 全选
首次同步时同步基表数据 勾选
流程运行成功后清空增量表 不勾选

首次使用空目标表时,点击“设为首次同步”。弹出“同步列配置”时,选择全部输出列并同步到下游。

08cdcsource.jpg

7.4 配置目标增量表

项目 设置
数据源 DM8_132
数据集 DIS_LAB.T_PERSON_SYNC
操作列 CDC_OPT
匹配列 ID、NAME、PHONE、DEPT 全部匹配
唯一列 ID
插入列、修改列 四个业务列全选
首次同步时清空目的表 不勾选,首次使用空表

CDC_OPT 作为操作列,目标业务字段只映射 ID、NAME、PHONE、DEPT。

首次运行前,目标组件同样点击“设为首次同步”。保存并运行转换,在目标库查询:

SELECT * FROM DIS_LAB.T_PERSON_SYNC ORDER BY ID;

首次同步得到 3 行数据,ID=2 的电话保持 NULL。

7.5 验证插入、修改和删除

源库执行:

INSERT INTO DIS_LAB.T_PERSON VALUES (4, '赵六', '13600000004', 'DEV'); UPDATE DIS_LAB.T_PERSON SET PHONE = '13700000002' WHERE ID = 2; DELETE FROM DIS_LAB.T_PERSON WHERE ID = 3; COMMIT;

再次运行 TR_PERSON_CDC,不再点击“设为首次同步”。目标库查询:

SELECT * FROM DIS_LAB.T_PERSON_SYNC ORDER BY ID;

结果为:

ID NAME PHONE DEPT
1 张三 13800000001 OPS
2 李四 13700000002 DEV
4 赵六 13600000004 DEV

这次读取组件显示 4 条增量记录,目标组件统计为插入 1、更新 1、删除 1,目标数据与源表一致。

08cdcresult.jpg

8. 配置作业与定时调度

8.1 创建作业

在 P_DIS_LAB → 作业 下新建 JOB_PERSON_CDC。

拖入“引用 → 转换”组件,选择工程中的 TR_PERSON_CDC。保存后先运行一次,确认作业能够正常调用增量转换。

8.2 创建并关联调度

在 P_DIS_LAB → 调度 下新建 SCH_PERSON_1MIN:

项目 设置
调度类型 周期性调度
开始日期 实际操作当天
结束日期 无结束日期
日期频率 每天
时间频率 当天反复执行,每隔 1 分钟
每日时间范围 00:00:00 至 23:59:59
禁用调度 不勾选

右键 JOB_PERSON_CDC → 配置调度,选择 SCH_PERSON_1MIN 并启用关联。最后点击页面顶部“调度引擎 → 启动”。

8.3 验证自动同步

源库插入一条数据并提交:

INSERT INTO DIS_LAB.T_PERSON VALUES (5, '孙七', '13500000005', 'OPS'); COMMIT;

等待调度周期,不手工执行作业。目标库查询:

SELECT * FROM DIS_LAB.T_PERSON_SYNC WHERE ID = 5;

20:46:21 插入并提交,20:46:28 的定时任务完成插入,目标库出现 ID=5。

进入“监控 → 流程历史日志”,按 JOB_PERSON_CDC 查询,执行方式为“调度执行”,状态为“运行成功”。

09schedulehistory.jpg

8.4 重启后的检查

重启源服务器上的 DIS 服务,期间页面和任务执行暂时中断,DM8 保持运行。由 dmdba 执行:

# 源服务器,dmdba /home/dmdba/dmdis5/20261029194429054000/standalone/standalone_service restart /home/dmdba/dmdis5/20261029194429054000/standalone/standalone_service status

重启后重新登录,工程、数据源和流程均保留,8082、9080 恢复监听,定时作业继续成功执行。目标表保留 ID=1、2、4、5,源库 DM8 进程没有重启。

页面开启调度引擎后,START_SCHEDULER_ENGINE 已保存为 1,DIS 服务重启后自动恢复调度。由于关闭了开机自启,操作系统重启后仍需由 dmdba 启动 DIS 服务。

清洗表和两张 _BATCH 表仍保留全量装载时的数据,增量转换只更新 T_PERSON_SYNC。

9. 常见问题与日志

9.1 常见问题

现象 检查内容
刚启动时页面返回 404 查看启动日志,确认元数据库与调度服务是否完成初始化
dmdba 安装结束提示服务注册失败 root 执行服务注册脚本,再由 dmdba 启动 DIS
安装临时空间不足 检查 DMDIS_INSTALL_TMPDIR 指向目录的空间和权限
Java 无法申请内存 检查可用内存和 standalone_service.conf 中的 JVM 堆配置
数据源报无 SYS.SYSOBJECTS 查询权限 核对实验用户的系统对象访问授权,重新连接数据源
“匹配列数目为 0” 检查连接是否使用默认输出、上游列是否同步、目标列是否匹配
手工增量正常,定时任务没有新记录 检查调度是否关联作业、关联是否启用、调度引擎是否运行

9.2 日志位置

日志 路径
安装日志 /home/dmdba/dmdis5/20261029194429054000/log/install.log
服务启动输出 /home/dmdba/dmdis5/20261029194429054000/log/dmdis_standalone_svc.log
运行日志 /home/dmdba/dmdis5/20261029194429054000/log/dmdis_standalone.log
错误日志 /home/dmdba/dmdis5/20261029194429054000/log/dmdis_standalone_error.log

参考资料

评论
后发表回复

作者

文章

阅读量

获赞

扫一扫
联系客服