dmetl在配置数据同步时有多种同步方式,此次主要介绍增量对比同步,用于源端同步用户权限限制比较死的情况,此方式只需要对表有查询权限,无需创建任何触发器或辅助表,减少对源端的侵入。
以下已DMET4为例,介绍增量对比同步配置。
客户端启动后,弹出登录界面,默认用户名和密码都是 admin
在配置同步前,首先需要创建源端和目的端数据源,配置如下:
按实际需求选择数据库类型,正确填写主机名、用户名、密码和端口。
在数据源创建完成后,右键源端数据源,添加需要同步的表,配置如下:
源端表添加完成后,如果目的端这些表不存在,则需要通过创建表的方式将表手动创建到目的端,如下图操作,如果目的端存在则忽略以下步骤,按正常添加表的方式添加目的端表。
选择数据源为目的端数据源:
在表全部添加完成后,开始配置同步,首先新建转换:
转换创建好后,双击新建的转换,在右边窗口开始配置,添加4个控件,在数据读取拖择两个表/视图空间,在数据转换拖择增量对比,最后在数据装载选择增量表,并将各个组件之间连接拉好。
同步原理为分别读取源端和目的端表数据,进行增量对比,并将差异数据同步至目的端,整体同步逻辑如下:
在控件添加并链路配置完成后,需要对各个控件进行配置,首先是源端和目的端读取表的配置,双击第一个表/视图,弹出如下窗口,选择源端表:
表选择完成后,我们可以看到源端表的表结构,其中需要注意的是唯一列,在下一步排序列选择的时候建议将唯一列设置为排序列,如下图配置:
如表无主键或唯一列,那就在排序列将所有列全部添加。
排序列选择完成后,源端表配置完成,点击确定进行下一步,对第二个表/视图进行配置,配置过程与上两步一致,只是数据源选择目的端,且表要对应上。
接下来对增量对比组件进行配置,这一步主要是对连接列进行配置,选择我们上一步设置的排序列,(如果上一步是将全部列选择为了排序列,那这里也需要将所有列设为排序列)确定后完成配置。
最后对增量表进行配置,选择目的端对应的表后确定,具体配置与上两步选择目的端表配置操作一致,完成配置。
至此增量对比同步已配置完成,后续可按照实际同步频率配置调度。
文章
阅读量
获赞