为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。 【DM版本】: 8 【操作系统】:window11 【CPU】: 【问题描述】*:我需要在dm8,mysql8以及mongodb之间做数据的增量或者全量,不一定是dm8到其他数据库,也有可能是其他数据库同步到dm8,所以说我想想,有没有一种方案,可以监听获取dm8的增量信息,然后我用flink,跟其他数据库做一下增量比对,然后把新增的填进去,也就是说,我想知道有没有办法获取dm8的增量信息,增量订阅呀之类的
一、有一种产品侧的方案,比较成熟,有很多年的历史了,叫做DMDRS 可以借助这个产品,把dm的增量数据同步到kafka等消息中间件中(可以自定义消息的json格式) 二、使用最新的DM服务端,自己使用日志挖掘的接口进行处理,开发复杂度、数据准确性等,需要自己承担。 三、基于全量的sqllog日志进行自分析,做后续处理;类似二,但是复杂度低一些。(sqllog会记录详细的preapre的语句,绑定的参数等等信息)
一、有一种产品侧的方案,比较成熟,有很多年的历史了,叫做DMDRS
可以借助这个产品,把dm的增量数据同步到kafka等消息中间件中(可以自定义消息的json格式)
二、使用最新的DM服务端,自己使用日志挖掘的接口进行处理,开发复杂度、数据准确性等,需要自己承担。
三、基于全量的sqllog日志进行自分析,做后续处理;类似二,但是复杂度低一些。(sqllog会记录详细的preapre的语句,绑定的参数等等信息)