达梦数据集成软件--DMDIS使用分享
一.产品介绍
达梦数据集成软件 DMDIS 是达梦提供的专业实时数据集成软件，集数据迁移、同步、清洗转换和数据整合于一体的高可扩展、强易用的一站式数据集成平台。
产品特性：
1.集群单机一体
既提供单机模式供小型项目学习使用；又提供集群模式，供中大型项目使用，在完成复杂的数据处理场景前提下，保证了负载均衡。
2.库级表级融合
库级和表级流程融合使用，不仅提供整库的数据迁移与同步，还提供了表级的丰富的数据处理能力。
3.异构融合
关系型数据库和非关系型数据库异构融合，完美贴合复杂的数据处理。
4.批处理实时一体化
将批处理和实时处理融合一体，满足多种数据处理场景。
5.智能数据迁移
根据主机资源自动分片并行迁移，保障迁移效率最大化，无需过多的人工干预，即可完成复杂的迁移过程。
6.便捷的操作
基于低代码的图形化界面，使数据处理流程的创建更便捷，并提供了多种批量流程操作。
产品架构

应用场景
1.异构数据同步
DMDIS 支持丰富的数据源类型，能够自动进行不同数据模型的转换完成异构数据同步；支持批量和自动化的迁移任务生成；支持日志解析和数据库原生 CDC 接口的增量数据捕获机制，满足不同数据源增量同步要求。
2.异构数据集成
数据集成场景具有数据源种类多、数据量大、数据清洗转换复杂的特点。针对场景需求，DMDIS 提供多元化的数据源支持，丰富的数据转换和作业组件，实时、周期性的调度设置，极大地提升数据集成项目的实施效率。
3.分布式作业调度
DMDIS 用专业的作业调度软件支撑企业内操作系统脚本、python 脚本、外部程序调用、文件拷贝同步等各类日常作业的统一调度和管理。多节点集群架构，使其能够提供企业级高可靠的作业调度管理功能。

二DMDIS安装和使用
1.安装前准备
创建 dinstall 组：
groupadd dinstall
创建 dmdis 用户：
useradd -g dinstall -m -d /home/dmdis -s /bin/bash dmdis
配置临时目录
mkdir -p /home/dmdis/tmp
export DMDIS_INSTALL_TMPDIR=/home/dmdis/tmp
2.软件安装
推荐使用图形化方式安装，注意在安装时要使用刚刚新建的dmdis用户
./dmdis_rev202314_x86_linux_64_20251022.bin

按照图形化提示逐步安装，注意提示安装失败时需要切换至root用户，执行脚本服务才可以完成安装，不要直接关闭。

3.DMDIS的使用
cd /home/dmdis/dmdis5/20250415134956523000/standalone/
./standalone_service_start.sh
输入地址及用户名和密码信息
http://127.0.0.1:8080/
admin/密码
配置数据源
依次点击“设计”——“数据源”

右击“数据库”，点击“新建数据库数据源”

输入数据源名称，选择数据库类型，数据数据库连接信息

添加 DMHR.EMPLOYEE 表。点击“数据库”，右击“DM”，点击“添加表”

选择模式、表，点击“确定”

查看添加表的信息，依次点击“数据库”——“DM”——“默认”——“DMHR”——“tables”

4.进行数据质量检测
创建格式化规则，检查邮箱地址是否合理
依次点击“设计”——“数据质量”

右击“数据质量”，点击“新建数据质量”

点击“格式化”，双击“EMail 检查”，依次输入名称，点击“确定”

添加完成规则之后创建公程，对 DMHR.EMPLOYEE.EMAIL 进行数据质量检测，将结果输出到文本文件 /home/dmdis/emp_check.txt
右击“工程”，点击“新建工程”，输入工程名，点击“确定”

依次点击“工程”——“TEST”，右击“转换”，点击“新建转换”，输入转换名，点 击“确定”

依次点击“工程”——“TEST”——“转换”——“CHECK”——“设计”

配置数据读取。点击“数据读取”，将“数据读取”下的“表/视图”拖拽至工作区域

配置数据源数据集，右击“表/视图”，点击“属性”——“浏览”选择数据源数据集， 依次点击数据库——“DM”——“默认”——“DMHR”——“tables”——“EMPLOYEE”，点 击“确定”

配置数据质量检测。点击“数据转换”，将“数据转换”下的“数据质量检测”拖拽 至工作区域，将数据源的信息输出给“数据质量检测”流程

右击“数据质量检测”，点击“属性”，找到列 EMAIL，点击“增加规则”，增加数 据质量管理规则，点击“确定”

右击“数据质量检测”，点击属性，查看规则内容

配置数据写入。点击“数据写入”，将“数据写入”下的“文本文件”拖拽至工作区 域，将“数据质量检测”信息输出至“文本文件”流程

配置“文本文件”的属性。右击“文本文件”，点击“属性”，输入文件路径和工作 表名称，点击“确定”

最后依次点击“保存”——“运行”

结束之后结果会输出到文本文件，进行查看就能看到邮箱格式是否正确了。