为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
【DM版本】: dm8
【操作系统】:中标麒麟
【CPU】: x86
【问题描述】*
因为目前有项目在转达梦,oracle ctl 有如图形式的可以指定函数,对ctl 中一个字段 进行哈希分组,生成一个txt供数文件不存在的字段,但是目前达梦ctrl控制文件不支持调用哈希函数,项目改造造成影响。
思想是这样的,每天接核心数据,是以txt数据供的,但是数据量大,跑业务处理的时候耗时长,所以就在txt加载到库的时候,就根据某个字段值进行哈希分组,下面根据分组开多线程处理的。目前不支持,改造的话,得先把txt数据导入到库中,然后在遍历一遍数据库数据更新一个分组,在多线程调用。多了一步耗时,改造也大,程序调度数据库处理,都要涉及改了。麻烦老师,帮忙分析下有没有好的替代方法,或者反馈一下
导入的逻辑是txt文本太多然后分片,在并行加载;原来是通过oracle的自带功能实现分片,目前这个用法dm不支持,可以通过编程实现txt分片,其他的用法就一样了