达梦数据集成软件(DMDIS)主要用于不同数据源之间的数据迁移、同步和清洗转换。通过组合数据读取、转换和写入组件,可以完成数据抽取、字段处理和目标装载,再通过作业编排和调度实现周期性执行。既可以直接进行库级多表装载,也可以针对单张表配置清洗规则和增量处理流程。
这次在本地搭建一套 DM8 到 DM8 的数据交换环境,使用人员表和部门表完成几组操作:先将人员表中的空电话替换后写入目标库,再通过库级流程一次装载多张表;随后配置影子表增量,验证源表插入、修改和删除后,目标数据是否对应更新,最后将增量转换关联到作业,每分钟自动执行一次。本文记录从单机安装、服务配置、数据源创建到流程运行和结果核对的完整过程。
| 项目 | 配置 |
|---|---|
| 操作系统 | CentOS 7,x86_64 |
| 安装包 | dmdis_rev226131_x86_linux_64_20260703.bin |
| DMDIS 版本 | V5.2.0.1,Build 2026.07.03-226131 |
| 安装用户 | dmdba |
| 安装根目录 | /home/dmdba/dmdis5 |
| 元数据库 | 内置 Derby |
| Web / SocketIO 端口 | 8082 / 9080 |
| 单机服务名 | Dmdis5StandaloneService |
| 源 DM8 | 192.0.2.10:5236,同时部署 DIS |
| 目标 DM8 | 192.0.2.11:5236 |
| 实验用户 | 两端均为 DIS_LAB |
| 工程 | P_DIS_LAB |
IP 使用示例地址,截图中的 DM8_130、DM8_132 分别为源、目标数据源名称。DIS 采用单机模式,使用内置 Derby 保存工程、数据源和调度配置。
清洗、批量装载和增量同步分别写入以下目标表:
| 流程 | 用途 | 目标表 |
|---|---|---|
TR_PERSON_FULL |
读取人员表,将空电话替换为“未填写”后装载 | T_PERSON_CLEAN |
SY_DIS_FULL |
一次装载人员表、部门表 | T_PERSON_BATCH、T_DEPT_BATCH |
TR_PERSON_CDC |
首次装载及后续增删改同步,保留字段原值 | T_PERSON_SYNC |
JOB_PERSON_CDC |
引用增量转换,由调度定期触发 | 同上 |
本次使用随包 REST SDK 创建和运行流程,在页面查看组件配置和执行记录,两端数据通过 SQL 核对。
安装包放在源服务器的 /root 下,由 root 复制到安装用户目录:
install -m 700 -o dmdba -g dmdba /root/dmdis_rev226131_x86_linux_64_20260703.bin /home/dmdba/dmdis_rev226131_x86_linux_64_20260703.bin
切换为 dmdba,检查内存、磁盘和端口,指定安装临时目录:
su - dmdba
free -h
df -h /tmp /home
ss -lnt | grep -E ':(5236|8082|9080)\b'
mkdir -p /home/dmdba/dis_install_tmp
export DMDIS_INSTALL_TMPDIR=/home/dmdba/dis_install_tmp
数据库使用 5236,DIS 使用空闲的 8082、9080 端口。
dmdba 执行:
cd /home/dmdba
./dmdis_rev226131_x86_linux_64_20260703.bin -i
本次安装选项如下:
| 安装项 | 选择或填写 |
|---|---|
| 语言 | 输入 c,中文 |
| 许可证 | 输入 1,使用试用许可 |
| 安装类型 | 输入 1,单机模式 |
| JDK | 输入 1,默认 OpenJDK 8u452 |
| 外置库 | 输入 0,使用内置 Derby |
| 安装根目录 | /home/dmdba/dmdis5 |
| 服务配置 | 显示“服务配置”后按一次回车,继续填写参数 |
| 服务名 | Dmdis5StandaloneService |
| 管理平台端口 | 8082 |
| 管理员 | admin,安装时设置口令 |
| 启动方式 | 输入 2,手动 |
| 确认安装 | 核对安装小结,输入 y |
安装器在根目录下生成时间戳目录,本次为:
/home/dmdba/dmdis5/20261029194429054000
后续命令中的时间戳目录按实际安装路径替换。
虚拟机物理内存约 1.5 GB,DIS 与 DM8 部署在同一台机器。为运行这组小数据量测试,将 DIS 默认的 6144 MB 堆上限调整为 512 MB,初始堆为 128 MB,流程并发数设为 1。
dmdba 修改服务配置:
vim /home/dmdba/dmdis5/20261029194429054000/standalone/standalone_service.conf
wrapper.java.initmemory=128 wrapper.java.maxmemory=512
前台启动脚本中两处 Java 命令使用相同的堆参数:
vim /home/dmdba/dmdis5/20261029194429054000/standalone/standalone_start.sh
-Xms128m -Xmx512m
修改单机配置:
vim /home/dmdba/dmdis5/20261029194429054000/standalone/config/standalone.ini
ENGINE_WORKER_COUNT = 1
START_SCHEDULER_ENGINE = 0
周期调度暂时关闭,流程运行正常后再开启。DM8 内存参数保持不变。
dmdba 安装结束后,系统服务注册失败,切换 root 执行注册脚本:
/home/dmdba/dmdis5/20261029194429054000/standalone/install_standalone_service.sh
出现 Press enter to continue 时按回车。服务采用手工启停,关闭注册脚本添加的开机启动项:
chkconfig Dmdis5StandaloneService off
由 dmdba 启动服务:
su - dmdba /home/dmdba/dmdis5/20261029194429054000/standalone/standalone_service start /home/dmdba/dmdis5/20261029194429054000/standalone/standalone_service status
状态显示 Wrapper:STARTED, Java:STARTED 后,检查端口与日志:
ss -lnt | grep -E ':(8082|9080)\b'
tail -30 /home/dmdba/dmdis5/20261029194429054000/log/dmdis_standalone.log
首次启动需要初始化 Derby 元数据库。端口开始监听后,页面曾短暂返回 404;待日志出现 Metadata engine started、Scheduler already Started 后,登录页面恢复正常。
访问示例地址:
http://192.0.2.10:8082/
使用 admin 和安装时设置的口令登录。单机模式内置管理器、调度器和原生执行器。此时调度服务已初始化,页面顶部的调度引擎暂未开启,可以先手工运行转换。
在两端使用 SYSDBA 查询用户,确认不存在后创建:
SELECT USERNAME FROM DBA_USERS WHERE USERNAME = 'DIS_LAB';
CREATE USER DIS_LAB IDENTIFIED BY "REPLACE_WITH_LAB_PASSWORD";
GRANT PUBLIC, RESOURCE, SOI, SVI, VTI TO DIS_LAB;
REPLACE_WITH_LAB_PASSWORD 替换为实验账号口令,授权用于本次数据源浏览和读写。
源库由 SYSDBA 执行,创建人员表和部门表:
CREATE TABLE DIS_LAB.T_PERSON (
ID INT PRIMARY KEY,
NAME VARCHAR(50),
PHONE VARCHAR(30),
DEPT VARCHAR(30)
);
CREATE TABLE DIS_LAB.T_DEPT (
CODE VARCHAR(30) PRIMARY KEY,
DEPT_NAME VARCHAR(50)
);
INSERT INTO DIS_LAB.T_PERSON VALUES (1, '张三', '13800000001', 'OPS');
INSERT INTO DIS_LAB.T_PERSON VALUES (2, '李四', NULL, 'DEV');
INSERT INTO DIS_LAB.T_PERSON VALUES (3, '王五', '13900000003', 'OPS');
INSERT INTO DIS_LAB.T_DEPT VALUES ('OPS', '运维部');
INSERT INTO DIS_LAB.T_DEPT VALUES ('DEV', '开发部');
COMMIT;
SELECT * FROM DIS_LAB.T_PERSON ORDER BY ID;
SELECT * FROM DIS_LAB.T_DEPT ORDER BY CODE;
人员表有 3 行,其中 ID=2 的电话为空;部门表有 2 行。先用这组数据完成全量装载,后面再修改源表验证增量。
目标库由 SYSDBA 执行,创建清洗结果表和增量同步表,暂不插入数据:
CREATE TABLE DIS_LAB.T_PERSON_CLEAN (
ID INT PRIMARY KEY,
NAME VARCHAR(50),
PHONE VARCHAR(30),
DEPT VARCHAR(30)
);
CREATE TABLE DIS_LAB.T_PERSON_SYNC (
ID INT PRIMARY KEY,
NAME VARCHAR(50),
PHONE VARCHAR(30),
DEPT VARCHAR(30)
);
多表装载使用的两张 _BATCH 表由 DIS 自动创建。
进入“设计 → 数据源”,右键“数据库”,选择“新建数据库数据源”,分别配置源、目标连接。
| 配置项 | 源数据源 | 目标数据源 |
|---|---|---|
| 名称 | DM8_130 |
DM8_132 |
| 类型 | DM8 | DM8 |
| 地址(示例) | 192.0.2.10 |
192.0.2.11 |
| 端口 | 5236 |
5236 |
| 用户 | DIS_LAB |
DIS_LAB |
| 口令 | 源库实验用户口令 | 目标库实验用户口令 |
| 驱动 | 内置 DM 驱动 | 内置 DM 驱动 |
两端测试连接成功后保存,并添加数据集:
DM8_130:DIS_LAB.T_PERSON、DIS_LAB.T_DEPT。DM8_132:DIS_LAB.T_PERSON_CLEAN、DIS_LAB.T_PERSON_SYNC。进入“设计 → 工程”,新建 P_DIS_LAB。
在 P_DIS_LAB → 转换 下新建 TR_PERSON_FULL,连接:
数据读取:表/视图 → 数据转换:数据清洗转换 → 数据写入:表
连接线选择“默认输出”。截图中的 PERSON_READ、PHONE_NULL_CLEAN、PERSON_CLEAN_WRITE 分别对应读取、清洗和写入组件。
读取组件选择 DM8_130 下的 DIS_LAB.T_PERSON,全选 ID、NAME、PHONE、DEPT 四列。
在“数据清洗转换”中添加以下规则:
空值替换 → 字段若为NULL,该字段被替换为设定的值
| 项目 | 设置 |
|---|---|
| 处理列 | PHONE |
| 设定值 | 未填写 |
| 输出列 | 保留原来的 PHONE,不额外增加列 |
保存后,将输出列信息同步到下游写入组件。
| 项目 | 设置 |
|---|---|
| 数据源 | DM8_132 |
| 数据集 | DIS_LAB.T_PERSON_CLEAN |
| 列匹配 | 四个业务列全部匹配 |
| 插入列 | 四列全选 |
| 插入更新 | 不启用 |
| 每次执行前清空目的表 | 不勾选,首次使用空表 |
运行转换后,在目标库查询:
SELECT * FROM DIS_LAB.T_PERSON_CLEAN ORDER BY ID;
本次结果为:
| ID | NAME | PHONE | DEPT |
|---|---|---|---|
| 1 | 张三 | 13800000001 | OPS |
| 2 | 李四 | 未填写 | DEV |
| 3 | 王五 | 13900000003 | OPS |
普通插入重复执行会与目标已有主键冲突。重新全量装载前,先处理 T_PERSON_CLEAN 中的已有数据,或改用插入更新。
多表装载使用库级“同步”流程,一次处理人员表和部门表,同步模式选择“仅装载”。
在 P_DIS_LAB → 同步 下新建 SY_DIS_FULL,连接:
数据读取:数据库 → 数据写入:数据库
源组件配置:
| 项目 | 设置 |
|---|---|
| 数据源 | DM8_130 |
| 同步模式 | 仅装载 |
| 白名单 | DIS_LAB.T_PERSON、DIS_LAB.T_DEPT |
| 表并发数 | 1 |
| 总并发数 | 1 |
| 表分组 | 所有表放在一个组,保留默认分组 |
白名单范围为人员表和部门表,CDC 辅助表不参与装载。
| 项目 | 设置 |
|---|---|
| 数据源 | DM8_132 |
| 初始装载自动建表 | 勾选 |
| 快速装载 | 不启用 |
| 事务异常策略 | 停止整个流程 |
映射规则使用精确名称:
| 映射项 | 源 | 目标 |
|---|---|---|
| 模式 | DIS_LAB |
DIS_LAB |
| 表 | T_PERSON |
T_PERSON_BATCH |
| 表 | T_DEPT |
T_DEPT_BATCH |
在“自动建表”页查看生成的 DDL,确认目标名称为两张 _BATCH 表,再保存并运行。
目标库查询:
SELECT * FROM DIS_LAB.T_PERSON_BATCH ORDER BY ID;
SELECT * FROM DIS_LAB.T_DEPT_BATCH ORDER BY CODE;
本次自动建表成功,两张表分别为 3 行、2 行。由于没有经过清洗组件,T_PERSON_BATCH 中 ID=2 的 PHONE 仍为 NULL。
重新全量装载时,在源、目标组件中清理装载记录,并处理两张 _BATCH 表的已有数据。
影子表方式通过比对源表与影子表产生增量,再由增量表组件读取并写入目标。本节先执行首次同步,再验证源表的插入、修改和删除。
在“设计 → 数据源”中,右键 DM8_130 下的 DIS_LAB.T_PERSON,选择“添加影子表增量”。
| 项目 | 设置 |
|---|---|
| 基表 | T_PERSON |
| CDC 表模式 | DIS_LAB |
| CDC 表 | T_PERSON_SHADOW_CDC |
| CDC ID 列 | CDC_ID |
| CDC 操作列 | CDC_OPT |
| Shadow 表模式 | DIS_LAB |
| Shadow 表 | T_PERSON_SHADOW |
| 初始化 CDC | 勾选 |
“列信息”中,将 ID 设为定位列,四个业务列均参与检查和增量记录;CDC_ID、CDC_OPT 保留为操作信息列。
创建完成后,在数据源的 CDC 分类下可以找到对应增量数据集。
在 P_DIS_LAB → 转换 下单独新建 TR_PERSON_CDC:
数据读取:增量表 → 数据写入:增量表
连接选择“默认输出”,PHONE 保留原值。
| 项目 | 设置 |
|---|---|
| 数据源 | DM8_130 |
| 数据集 | DIS_LAB.T_PERSON_SHADOW_CDC |
| 读取列 | CDC_ID、CDC_OPT、ID、NAME、PHONE、DEPT 全选 |
| 首次同步时同步基表数据 | 勾选 |
| 流程运行成功后清空增量表 | 不勾选 |
首次使用空目标表时,点击“设为首次同步”。弹出“同步列配置”时,选择全部输出列并同步到下游。
| 项目 | 设置 |
|---|---|
| 数据源 | DM8_132 |
| 数据集 | DIS_LAB.T_PERSON_SYNC |
| 操作列 | CDC_OPT |
| 匹配列 | ID、NAME、PHONE、DEPT 全部匹配 |
| 唯一列 | ID |
| 插入列、修改列 | 四个业务列全选 |
| 首次同步时清空目的表 | 不勾选,首次使用空表 |
CDC_OPT 作为操作列,目标业务字段只映射 ID、NAME、PHONE、DEPT。
首次运行前,目标组件同样点击“设为首次同步”。保存并运行转换,在目标库查询:
SELECT * FROM DIS_LAB.T_PERSON_SYNC ORDER BY ID;
首次同步得到 3 行数据,ID=2 的电话保持 NULL。
源库执行:
INSERT INTO DIS_LAB.T_PERSON VALUES (4, '赵六', '13600000004', 'DEV');
UPDATE DIS_LAB.T_PERSON SET PHONE = '13700000002' WHERE ID = 2;
DELETE FROM DIS_LAB.T_PERSON WHERE ID = 3;
COMMIT;
再次运行 TR_PERSON_CDC,不再点击“设为首次同步”。目标库查询:
SELECT * FROM DIS_LAB.T_PERSON_SYNC ORDER BY ID;
结果为:
| ID | NAME | PHONE | DEPT |
|---|---|---|---|
| 1 | 张三 | 13800000001 | OPS |
| 2 | 李四 | 13700000002 | DEV |
| 4 | 赵六 | 13600000004 | DEV |
这次读取组件显示 4 条增量记录,目标组件统计为插入 1、更新 1、删除 1,目标数据与源表一致。
在 P_DIS_LAB → 作业 下新建 JOB_PERSON_CDC。
拖入“引用 → 转换”组件,选择工程中的 TR_PERSON_CDC。保存后先运行一次,确认作业能够正常调用增量转换。
在 P_DIS_LAB → 调度 下新建 SCH_PERSON_1MIN:
| 项目 | 设置 |
|---|---|
| 调度类型 | 周期性调度 |
| 开始日期 | 实际操作当天 |
| 结束日期 | 无结束日期 |
| 日期频率 | 每天 |
| 时间频率 | 当天反复执行,每隔 1 分钟 |
| 每日时间范围 | 00:00:00 至 23:59:59 |
| 禁用调度 | 不勾选 |
右键 JOB_PERSON_CDC → 配置调度,选择 SCH_PERSON_1MIN 并启用关联。最后点击页面顶部“调度引擎 → 启动”。
源库插入一条数据并提交:
INSERT INTO DIS_LAB.T_PERSON VALUES (5, '孙七', '13500000005', 'OPS');
COMMIT;
等待调度周期,不手工执行作业。目标库查询:
SELECT * FROM DIS_LAB.T_PERSON_SYNC WHERE ID = 5;
20:46:21 插入并提交,20:46:28 的定时任务完成插入,目标库出现 ID=5。
进入“监控 → 流程历史日志”,按 JOB_PERSON_CDC 查询,执行方式为“调度执行”,状态为“运行成功”。
重启源服务器上的 DIS 服务,期间页面和任务执行暂时中断,DM8 保持运行。由 dmdba 执行:
# 源服务器,dmdba
/home/dmdba/dmdis5/20261029194429054000/standalone/standalone_service restart
/home/dmdba/dmdis5/20261029194429054000/standalone/standalone_service status
重启后重新登录,工程、数据源和流程均保留,8082、9080 恢复监听,定时作业继续成功执行。目标表保留 ID=1、2、4、5,源库 DM8 进程没有重启。
页面开启调度引擎后,START_SCHEDULER_ENGINE 已保存为 1,DIS 服务重启后自动恢复调度。由于关闭了开机自启,操作系统重启后仍需由 dmdba 启动 DIS 服务。
清洗表和两张 _BATCH 表仍保留全量装载时的数据,增量转换只更新 T_PERSON_SYNC。
| 现象 | 检查内容 |
|---|---|
| 刚启动时页面返回 404 | 查看启动日志,确认元数据库与调度服务是否完成初始化 |
| dmdba 安装结束提示服务注册失败 | root 执行服务注册脚本,再由 dmdba 启动 DIS |
| 安装临时空间不足 | 检查 DMDIS_INSTALL_TMPDIR 指向目录的空间和权限 |
| Java 无法申请内存 | 检查可用内存和 standalone_service.conf 中的 JVM 堆配置 |
数据源报无 SYS.SYSOBJECTS 查询权限 |
核对实验用户的系统对象访问授权,重新连接数据源 |
| “匹配列数目为 0” | 检查连接是否使用默认输出、上游列是否同步、目标列是否匹配 |
| 手工增量正常,定时任务没有新记录 | 检查调度是否关联作业、关联是否启用、调度引擎是否运行 |
| 日志 | 路径 |
|---|---|
| 安装日志 | /home/dmdba/dmdis5/20261029194429054000/log/install.log |
| 服务启动输出 | /home/dmdba/dmdis5/20261029194429054000/log/dmdis_standalone_svc.log |
| 运行日志 | /home/dmdba/dmdis5/20261029194429054000/log/dmdis_standalone.log |
| 错误日志 | /home/dmdba/dmdis5/20261029194429054000/log/dmdis_standalone_error.log |
文章
阅读量
获赞
