一、DMETL

1、概述

• 达梦数据交换平台（简称DMETL），是在总结了众多大数据项目经验和需求并结合最新大数据发展趋势和技术的基础上，自主研发的通用的大数据处理与集成平台。
• DMETL创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop以及flink进行大数据整合处理的技术门槛，是构建数据同步、数据交换、数据仓库以及数据中心等数据集成类应用的理想平台。

2、工作原理与实现功能

（1）架构特点

组件	功能
管理器	统一管理数据源、工程、调度任务
调度器	控制任务执行时序，支持Cron表达式定时触发
执行器	分布式节点并行处理数据（集群模式下可水平扩展）
元数据库	存储流程配置信息，支持内置Derby或外置数据库（如DM8/Oracle）

（2）应用场景

数据开发与整合

• 主要是将不同来源的各种数据，经过数据清洗的转换后变为统一格式存储的过程。这个场景主要是由于数据量大，数据种类丰富，且由于不同来源的数据质量和格式的不同导致数据的不一致性等问题，则需要适用dmetl来进行处理。
• dmetl支持多节点共享元数据库，即可以统一监控管理各个执行器节点，方便对于转换过程的监控；并且支持远程的启停升级，提高了项目实施部署的运维效率；全面的数据源支持，支持各种主流的数据库。

数据共享与交换

• 对于一些业务场景中可能存在数据交换，数据交换一般是指跨部门、跨地域的数据共享和业务协同等涉及多个部门的数据处理，那么在这样复杂的数据交换场景下，部门与部门之间的联系有可能因为地域部门不同导致数据库的格式、版本等不同，所以需要dmetl来进行统一的监控管理数据源和数据交换节点。

数据迁移与同步

• 数据迁移和同步主要涉及到了新老版本的的系统升级的时候出现的问题，需要一次性以及周期性的将数据源从源数据库到目的数据库中，需要通过两步：1.通过全量抽取数据加载到中间库中。2.用过增量抽取模块再将数据放到目的库中。

3、安装与操作

（1）命令行安装

./dmetl_20231228_x86_linux_64_V5.0.3.34_rev148496_standalone.bin -i

（2）启动与停止

standalone_start.sh：以命令行的方式启动单机版服务；
standalone_stop.sh：通知单机版服务停止执行；
install_standalone_service.sh：安装单机版操作系统服务；
uninstall_standalone_service.sh：卸载单机版操作系统服务；
standalone_service_start.sh：启动单机版操作系统服务；
standalone_service_stop.sh：停止单机版操作系统服务；
standalone_service_restart.sh：重启单机版操作系统服务。

（3）内存参数配置与修改

• 当运行 standalone_start.sh 启动单机版程序时，可以修改 standalone_start.sh 中的内存参数，如下表所示：

参数名称	参数说明
-XX:MetaspaceSize	Metaspace扩容时触发FullGC的初始化阈值
-XX:MaxMetaspaceSize	Metaspace区域的最大值
-Xms	JVM初始分配的内存大小
-Xmx	JVM最大分配的内存大小
-XX:MaxGCPauseMillis	最大垃圾收集停顿时间，它的值是一个大于0的整数，单位为毫秒（ms）

• 当以服务的方式启动单机版程序时，需要修改 standalone_service.conf 中的配置参数，如下表所示：

参数名称	参数说明
-XX:MetaspaceSize	Metaspace扩容时触发FullGC的初始化阈值
-XX:MaxMetaspaceSize	Metaspace区域的最大值
wrapper.java.initmemory	JVM初始分配的内存大小
wrapper.java.maxmemory	JVM最大分配的内存大小
-XX:MaxGCPauseMillis	最大垃圾收集停顿时间，它的值是一个大于0的整数，单位为毫秒（ms）

（4）基本操作

登录

主页

概览

工程

监控管理

二、DMDIS

1、概述

• 达梦数据集成软件（DMDIS）集数据迁移同步、清洗转换、整合于一体，提供丰富 的数据源支持，可视化的流程设计以及灵活易用的作业调度，是高可扩展、强易用的一 站式数据集成平台。DMDIS适用于数据迁移同步、数据交换共享、数据集成整合等场景， 能够完成关系数据、文档数据、KV数据、消息队列、Web服务以及文件等各种类型数据 的清洗转换整合，实现实时或者周期性数据集成，是建设数据仓库、数据中心项目的必备工具软件

2、工作原理与实现功能

（1）架构特点

• DMDIS 采用多节点集群架构，系统主要分为管理器、调度器、执行器和元数据库四部分，各部分功能如下图所示。
  

管理器：

管理器为B/S架构的Web应用，管理整个系统的各项功能，帮助用户完成流程 设计、对象管理和运维监控等各项功能。此外管理器提供了完善的RESTful接口，通过接口可以实现流程动态创建和监控信息获取等各项系统功能，方便与上层应用进 行集成。

调度器：

调度器负责在执行条件（时间、事件）满足时，将用户设计的流程分解为最小 的可独立执行的任务，并分配到合适的执行器上执行，使得整个系统的负载较为均衡。
DMDIS 中的流程分为转换、同步和作业三类，分别说明如下：

• 转换：是传统的表级ETL流程，实现表级的数据抽取、转换和装载，可以保证表级数据的 最终一致，但是不能保证事务原子性，适用于源和目的库结构差异较大，数据转换较 为复杂，但对实时性要求不高的场景。对于非关系表结构的数据比如XML、JSON， DMDIS 支持通过结构转换，变为关系表结构的数据进行处理。
• 同步是库级的数据同步流程，同步过程中可以保证数据事务原子性并且支持DDL同步，一个库通常只需要配置一个同步流程即可，适用于对实时性、数据一致性要求高，源和目的结构相似，数据转换不太复杂和表级个性化数据转换不多的场景。
• 作业是工作流，用于控制不同作业步骤的执行顺序和条件，通过作业可以实现条件分支、循环、嵌套等复杂的控制流程。作业步骤可以为转换流程、同步流程以及其它作 业任务（如文件操作、脚本执行等），也可以是其它作业流程，即作业是可以无限嵌套的。一个典型的作业如下图所示，作业一包含6个作业步骤，其中“SQL脚本”、“文件操作”、“发送邮件”为常规作业步骤，“转换一”和“转换二”节点表示执行节点引用的转换流程，“作业二”节点表示执行另外一个“作业二”流程，调度器在“作业二”执行之前，会对其进行进一步的分解。作业之间的连线表示作业步骤执行的顺序和条件。
  
• 调度器还需要实时监控执行器状态并收集流程运行统计信息。当检测到执行器宕机时，将故障执行器上的任务重新分配到系统其它正常的执行器上运行。调度器是系统的关键组件，一旦发生宕机，整个系统将无法运行，因此为了提高系统的可靠性，避免单点故障，系统支持配置多个备用调度器，当主调器故障时，备用调度器自动接管保持 系统的正常运行。

执行器：

执行器的主要功能是运行调度器分配的任务，包括表级的数据转换任务、库级 同步任务和作业任务。一个系统中可部署多个执行器，增加执行器的数量可以增加 系统的并发处理能力。通常在当前主流硬件条件下建议不超过16个执行器，每个执行器上最多可以同时运行1000个典型的ETL任务（建议值、非强制限制，根据硬件 配置会有所不同。一个典型的ETL流程包括一个源、一个目的和一个非聚合类数据清 洗转换组件）。除运行调度器分配的任务外，执行器也会运行系统中的需要长期运 行的公共后台服务如增量数据捕获服务、流存储服务，这些服务由用户在管理器中配置。

元数据库：

元数据库的主要功能是存储系统配置、流程配置、运行日志和统计信息。管理 器、调度器和执行器运行过程中都会访问元数据库。DMDIS支持达梦、Oracle、 SQL Server、MySQL 等多种主流数据库作为元数据库。

（2）应用场景

异构数据同步

• DMDIS 不仅能够支持不同关系数据库之间的数据同步，还支持各种非关系数据库与 关系数据库之间的迁移同步，比如关系数据库到MongoDB、HBase、Neo4j、Redis、 Elasticsearch、Kafka，这是因为 DMDIS支持的各类数据源以及数据处理组件都是模块 化的，无相互依赖的，可以在流程中任意搭配组合，此外系统内置了关系模型与其它非 数据模型的模式转换规则，非关系模型的数据都可以转换为关系模型的数据进行处理， 并自动转换为目标格式进行装载。
• DMDIS 同时支持关系数据库之间全量迁移和实时同步的无缝衔接，实现业务无中断 的平滑升级。
  

异构数据集成

• 数据集成一般指数据仓库、数据中心和数据湖等需要整合各类不同来源数据用于数据分析挖掘以及共享交换的项目，相比于数据同步项目，这类项目具有数据源种类多 （关系型、非关系型和文件等）、数据量大和数据清洗转换复杂的特点。DMDIS是专门 为支撑数据集成场景设计的一站式软件，提供了丰富的数据源类型支持，可视化的流程 设计，开箱即用的各种数据清洗转换、数据质量检测规则和各种作业组件，支持实时、 周期性以及事件触发的调度设置，可极大地提升数据集成项目的实施效率。
  

数据脱敏

• DMDIS 内置了丰富的数据脱敏规则，能够在保留数据基本特征的情况下，将各种数 据源的数据导出为脱敏数据，防止隐私或者机密信息泄露，可以极大地方便应用系统的 测试验证，减少泄密风险。数据脱敏规则可以以库级的模式统一配置，避免以表为单位 进行脱敏配置导致的工作量巨大的问题。

分布式作业调度

• DMDIS 的作业调度功能不仅仅用于数据集成和数据迁移同步场景，也可以作为专业 的作业调度软件支撑企业内操作系统脚本、SQL脚本、Python脚本、外部程序（Java、DLL）、文件操作和文件同步等各类日常作业的统一调度运行和监控运维。
• DMDIS 的多节点集群架构，使其能够提供企业级的高可靠的作业调度管理功能，对 于不依赖具体服务器资源的作业，系统可自动选择将作业调度到集群中的一个节点上运 行，从而避免由于单个服务器宕机导致的作业运行失败。同时，基于工作流的可视化作 业设计器，能够完成各种包含条件分支、循环以及嵌套执行的复杂的作业流程的编排， 并且每个作业步骤可运行在不同服务器上，从而实现分布式作业调度。
  

3、安装

（1）命令行安装

./dmdis_rev226131_x86_linux_64_20260703.bin -i

（2）启动与停止

standalone_start.sh：以命令行的方式启动单机模式服务
standalone_stop.sh：通知单机模式服务停止执行
standalone_service_start.sh：启动单机模式操作系统服务
standalone_service_stop.sh：停止单机模式操作系统服务
standalone_service_restart.sh：重启单机模式操作系统服务