注册
DMHS 同步 DM6:两边数据本来就不一致时,参数怎么配
技术分享/ 文章详情 /

DMHS 同步 DM6:两边数据本来就不一致时,参数怎么配

科技不收敛 2026/11/10 95 0 0

DMHS 同步 DM6:两边数据本来就不一致时,参数怎么配

最近要给两套 DM6 搭一条 DMHS 同步。情况有点特殊:两边都已经有数据,但并不一致。目标端只保留了一部分表,表里也只留着部分历史数据,平时还有作业定期删老数据。这次不打算做全量初始化,只想从源端当前位置开始,把以后的增量同步过去。

这种场景和常规的"先全量、再增量"不一样。目标端缺行是常态,源端一 UPDATE、DELETE,就会碰到目标端没有的行。DMHS 默认配置下,EXEC 碰到这种情况会直接退出。所以动手前,我先在两台测试机上把相关参数挨个试了一遍。

环境:DM6 V6.0.2.80,DMHS V4.3.38,单向同步。为了模拟现场,测试表在源端有 1~1000 行,目标端只放了 801~1000 行。下面的输出都是实际跑出来的,IP 和库名做了替换。

先说结论

折腾下来,我最后用的配置是这样的:

  • 源端:filter 用白名单,ddl_mask=TABLE:ALTER,trigger=1,identity=1,constraint=1
  • 目标端:affect_row=0,exec_policy=1

下面逐个说为什么。

起点:从当前位置开始

两边都是新装的 DMHS,不做全量。在控制台里先 connect 127.0.0.1:5345,然后在两端依次执行:

-- 目标端
START EXEC
-- 源端
COPY 0 "sch.name='SYSDBA'" DICT
CLEAR EXEC LSN 0
START CPT

CLEAR EXEC LSN 0 的作用是让目标端从当前位置开始接收。我验证了一下:起点之前写入的行没有同步过来,起点之后写入的都到了,目标端原有的数据一行没动。这正是想要的效果,两边以前不一致的数据就让它保持原样,DMHS 只管以后的变化。

中间踩了三个坑:

一是 dmhs_server 重启以后,CPT 会自己跑起来。这时如果想重新设起点,直接执行 COPY 会报"需要停止捕获模块",要先 STOP CPT。

二是从 STOP 到重新 START 这段时间里,源端写入的数据会被跳过,不会补上。

三是设起点那一刻还没提交的事务,会整条丢失。我测了两次:一个事务在起点前做了 INSERT 和 UPDATE,起点后又 INSERT 了一行才提交,结果三条语句一条都没到目标端,DMHS 也没有报任何错。所以设起点之前,最好先看一眼源端有没有长事务。

affect_row 和 exec_policy

这两个参数是这个场景的关键。

affect_row 默认是 1,意思是 EXEC 每执行一条 UPDATE、DELETE,都要核对影响的行数。目标端本来就缺行,核对只会不停地报错。手册(Reference Guide 第 68 页)也说了,如果两端数据本来就不一致,建议关掉这个检查。

我试了几种组合:

affect_row / exec_policy 改删目标端没有的行 主键冲突
0 / 1 正常,不报错 EXEC 退出,修好后重启能补上
0 / 2 正常 跳过冲突的那一行
1 / 2 每次都记一条错误 跳过冲突的那一行
1 / 0 整个事务都没了 整个事务都没了

最危险的是 1/0:一个事务里只要有一行对不上,整个事务都不入库,也没有任何提示。

我选了 0/1。缺行不报错;真遇到主键冲突,说明两边数据确实出了问题。这时让 EXEC 停下来,比悄悄跳过更好排查。主键冲突时的日志是这样的:

EXE[ERROR]: ... T_PART(INSERT) ... CODE: -3102 ERR:违反唯一性约束
PUB[ERROR]: 事务执行时碰到错误,DMHS主动退出!, code: 0

filter 和 ddl_mask

目标端只保留一部分表,所以 filter 一开始就不能用 *.*。我专门试了一下:源端改了一张目标端没有的表,EXEC 当场退出。

EXE[ERROR]: 表TESTDB.SYSDBA.T_OUT在目标数据源上不存在
PUB[ERROR]: 事务执行时碰到错误,DMHS主动退出!, code: 0

改成白名单,只列要同步的表,就没这个问题了。

ddl_mask 默认是 TABLE:OP。我在源端执行了一组 DDL:建表、视图、过程、触发器、索引,还有 ALTER、TRUNCATE、DROP,然后看目标端:

  • TABLE:ALTER 加白名单:只有 ALTER 同步了。
  • 全量掩码加白名单:TRUNCATE 和 DROP 也同步了。
  • 全量掩码加 *.*:所有 DDL 都同步了。

对这个场景来说,TRUNCATE 同步过去是致命的。目标端留着的历史数据,源端一个 TRUNCATE 就全没了。所以我用 TABLE:ALTER。以后源端加新表,就在目标端手动建好,再加进白名单。

trigger、identity、constraint

trigger 设成 1,目标端的触发器就不会执行。我的测试表上有个写审计表的触发器,设成 0 时,目标端触发器先写一行审计,源端同步过来的审计行再插一次,结果主键冲突。

identity 和手册说的不一样。手册(第 98 页)说 0 表示由目标库自己维护自增列,但实际设成 0,EXEC 还是会把自增列的值带过去,然后被 DM6 拒绝:

EXE[ERROR]: ... T_ID(INSERT) ... CODE: -3408 ERR:试图修改自增列

如果 exec_policy 又刚好是 2,这些行就被跳过了,表面上一切正常。设成 1 之后,两边的自增 ID 完全一致,连回滚造成的跳号都对得上。

constraint 设成 1,目标端就不检查外键。因为目标端会删老数据,父表的行可能已经删了,源端再插子表的行时,设成 0 会报 -3107,EXEC 退出。

目标端删老数据会不会打架

这是我比较担心的一点,结果还好。目标端删老数据和同步同时跑,没有冲突。删掉的行不会被写回来,源端再改这些行也不报错,前提是 affect_row=0。

唯一要注意的是锁。我在目标端开了个会话,锁住一行一分多钟,这期间这张表后面的同步全卡住了,锁一放就自动追上。所以删老数据的作业最好分批提交,别一个大事务锁很久。

配置

源端关键项:

<ddl_mask>TABLE:ALTER</ddl_mask> <send> <trigger>1</trigger><constraint>1</constraint><identity>1</identity> <filter><enable><item>SYSDBA.表名</item></enable></filter> </send>

目标端关键项:

<db_name>SYSTEM</db_name> <exec_policy>1</exec_policy> <affect_row>0</affect_row>
评论
后发表回复

作者

文章

阅读量

获赞

扫一扫
联系客服