注册
DMETL增量对比同步配置
技术分享/ 文章详情 /

DMETL增量对比同步配置

Ray 2022/11/15 1910 0 0

一、概述

dmetl在配置数据同步时有多种同步方式,此次主要介绍增量对比同步,用于源端同步用户权限限制比较死的情况,此方式只需要对表有查询权限,无需创建任何触发器或辅助表,减少对源端的侵入。
以下已DMET4为例,介绍增量对比同步配置。

二、同步配置

2.1 创建数据源

客户端启动后,弹出登录界面,默认用户名和密码都是 admin
image.png
在配置同步前,首先需要创建源端和目的端数据源,配置如下:
image.png
按实际需求选择数据库类型,正确填写主机名、用户名、密码和端口。

2.2 添加同步表

在数据源创建完成后,右键源端数据源,添加需要同步的表,配置如下:
image.png
image.png
源端表添加完成后,如果目的端这些表不存在,则需要通过创建表的方式将表手动创建到目的端,如下图操作,如果目的端存在则忽略以下步骤,按正常添加表的方式添加目的端表。
image.png
选择数据源为目的端数据源:
image.png

2.3增量同步配置

2.3.1控件添加

在表全部添加完成后,开始配置同步,首先新建转换:
image.pngimage.png
转换创建好后,双击新建的转换,在右边窗口开始配置,添加4个控件,在数据读取拖择两个表/视图空间,在数据转换拖择增量对比,最后在数据装载选择增量表,并将各个组件之间连接拉好。
同步原理为分别读取源端和目的端表数据,进行增量对比,并将差异数据同步至目的端,整体同步逻辑如下:
image.png

2.3.2同步表配置

在控件添加并链路配置完成后,需要对各个控件进行配置,首先是源端和目的端读取表的配置,双击第一个表/视图,弹出如下窗口,选择源端表:
image.png
image.png
表选择完成后,我们可以看到源端表的表结构,其中需要注意的是唯一列,在下一步排序列选择的时候建议将唯一列设置为排序列,如下图配置:
image.png
如表无主键或唯一列,那就在排序列将所有列全部添加。
排序列选择完成后,源端表配置完成,点击确定进行下一步,对第二个表/视图进行配置,配置过程与上两步一致,只是数据源选择目的端,且表要对应上。
image.png
接下来对增量对比组件进行配置,这一步主要是对连接列进行配置,选择我们上一步设置的排序列,(如果上一步是将全部列选择为了排序列,那这里也需要将所有列设为排序列)确定后完成配置。
image.pngimage.png
最后对增量表进行配置,选择目的端对应的表后确定,具体配置与上两步选择目的端表配置操作一致,完成配置。
image.png
至此增量对比同步已配置完成,后续可按照实际同步频率配置调度。

评论
后发表回复

作者

文章

阅读量

获赞

扫一扫
联系客服