注册
DMHS单向同步(DM7-DM7)
专栏/技术分享/ 文章详情 /

DMHS单向同步(DM7-DM7)

勇往直前 2024/09/27 812 0 0
摘要

一、部署前检查

1 开启归档和逻辑附加日志。在dm.ini进行参数修改后重启数据库

ARCH_INI = 1
RLOG_APPEND_LOGIC = 1

2 检查归档日志

SQL> SELECT ARCH_DEST, ARCH_FILE_SIZE FROM SYS.V$DM_ARCH_INI WHERE ARCH_TYPE='LOCAL' AND ARCH_IS_VALID='Y';

3 检查逻辑附加日志

SQL> SELECT PARA_VALUE FROM SYS.V$DM_INI WHERE PARA_NAME = 'RLOG_APPEND_LOGIC';

4 检查 FAST_COMMIT 参数是否为 0

SQL> SELECT PARA_VALUE FROM V$DM_INI WHERE PARA_NAME = 'FAST_COMMIT';

二、安装dmhs

AB机器分别安装DMHS

image.png
image.png

三 配置DDL

如果需要同步DDL则需要创建DDL触发器和辅助表。Sql脚本在dmhs/scripts目录下,根据实际需要选择对应版本的sql脚本文件执行。

SQL> SELECT OWNER, TABLE_NAME FROM DBA_TABLES WHERE OWNER = 'SYSDBA' AND 
TABLE_NAME LIKE 'DMHS%' AND STATUS = 'VALID'; 
SQL> SELECT OWNER, TRIGGER_NAME FROM DBA_TRIGGERS WHERE OWNER = 'SYSDBA' 
AND TRIGGER_NAME LIKE 'DMHS%' AND STATUS = 'Y';

image.png

四 修改配置文件

1 源端配置文件

<?xml version="1.0" encoding="GB2312"?>
<dmhs>
	<base><!-- 管理模块的基本配置 -->
		<lang>ch</lang><!-- 语言选项,ch为中文,en为英文 -->
		<mgr_port>5345</mgr_port><!-- 管理端口号,默认为5345,最小值1000,最大值65535 -->		
		<chk_interval>2</chk_interval><!-- 状态轮询间隔,默认为3s,最小值1s,最大值60s -->		
		<ckpt_interval>45</ckpt_interval><!-- 执行端检查点间隔,默认60s,最小值10s,最大值65536s -->
		<siteid>1</siteid><!-- 站点ID,这个ID配置时要注意,全局唯一,最小值0,最大值65535 -->
	</base>
	<cpt><!-- 这项配置可以配置多个,也就是可以配置多个捕获模块,如果该节点只作为执行端,该节点需要删除 -->
		<db_type>dm7</db_type><!-- 数据库类型,默认为dm7,限定值Oracle10g,Oracle11g,dm6,dm7 -->
		<db_server>127.0.0.1</db_server><!-- 数据库服务名或IP,默认为127.0.0.1 -->
		<db_user>SYSDBA</db_user><!-- 数据库用户名,默认为SYSDBA -->
		<db_pwd>SYSDBA</db_pwd><!-- 数据库口令,默认为SYSDBA -->
		<db_port>5236</db_port><!-- 数据库端口号,默认为5236 -->
		<idle_time>300</idle_time><!-- 分析线程空闲睡眠时间,默认值为300ms,最小值0ms,最大值65536ms -->
		<ddl_mask>op:obj:rec</ddl_mask><!-- 分析端DDL同步支持的对象和操作,可选项参见手册4.2.1 CPT,需要将安装脚本中对应的DDL脚本在源端执行 -->
		<parse_thr>8</parse_thr><!-- 分析线程个数,默认为1,最小值1,最大值32,多线程分析时,不支持ALTER TABLE操作同步 -->	
		<dict_dir>/dbarch/dict</dict_dir><!--数据字典,根据实际路径填写—HA环境需配置到磁盘阵列挂载目录上-->
		<arch>
			<clear_interval>600</clear_interval><!-- 归档文件清理间隔,默认为600s,最小值60s,最大值2000000000s -->
			<clear_flag>0</clear_flag><!-- 清除归档日志的方式,可选项0(无动作), 1(删除归档文件), 2(表示移走归档文件) -->
			<bak_dir></bak_dir><!-- clear_flag项配置成2时,该配置项可以用来指定归档文件转移的目录,如果未配置这项,则转移到归档路径的log_bak目录下 -->
		</arch>	
		<send><!-- 发送模块配置 -->
				<ip>192.168.1.102</ip><!-- 目的端IP,根据实际目的端IP填写,默认127.0.0.1 -->
				<mgr_port>5345</mgr_port><!-- 目的端管理端口,默认为5345,最小值1000,最大值65535 -->
				<data_port>5346</data_port><!-- 目的端数据接收端口号,默认为5346,最小值1000,最大值65535 -->
				<level>0</level><!-- 复制级别,默认为0,最小值0,最大值65535 -->
				<trigger>1</trigger><!-- 是否忽略触发器,默认为0,限定值0,1 -->
				<constraint>1</constraint><!-- 是否忽略约束,默认为0,限定值0,1 -->
				<identity>1</identity><!-- 是否忽略自增列,默认为0,限定值0(不忽略,插入同步过来的值),1(忽略,插入自增列自身的值) -->
				<net_turns>1</net_turns><!-- 是否开启网闸模式,默认为0,限定值0(关闭),1(开启),网匝模式下,主机看不到备机的统计信息 -->
				<filter><!-- 过滤,必须指定,一定要注意大小写,要跟源库中的对像名大小写保持一致 -->
					<enable><!-- 白名单,所有允许同步的表 -->
						<!-- 格式 <item>实例名.模式名.表名</item> -->
						<!-- 实例名中除DM6为库名外,其它库为实列名 -->
						<!-- 配置过滤时,支持使用*号模糊匹配,例如: -->
						<!-- <item>SYS*.*</item> 所有模式名为sys打头的表允许同步 -->
						<!-- <item>SYSDBA.S*</item> 模式SYSDBA下以S打头的表才允许同步 -->
						<!-- <item>SYSDBA.TEST</item> 模式SYSDBA下表TEST才允许同步 -->
						<item>*.*</item><!-- 过滤项,可以配置N个该项,样例 <item>SYSDBA.*</item> 主机SYSDBA模式下的表才允许同步 -->
					</enable>
					<disable><!-- 黑名单,不允许被同步的表,该项可选,执行流程是:当通过了白名单的验证以后,再来定位黑名单单,如果在黑名单中命中,则不允许同步,配置参照白名单 -->
						<!-- 字段过滤格式 <item>实例名.模式名.表名(列名 == 列值,列值...),或者(列名 != 列值,列值...)</item> -->
						<!-- 操作过滤格式 <item>实例名.模式名.表名=操作类型名,操作类型名...,或者!= 操作类型名,操作类型名...</item> -->
					</disable>
				</filter>
				<map><!-- 表名映射,可选, 一定要注意大小写,要跟源库和目的库中的对像名大小写保持一致 -->
					<!-- 格式 <item>实例名.模式名.表名 ==> 实列名.模式名.表名</item> -->
					<!-- 实例名中除DM6为库名外,其它库为实列名 -->
					<!-- 配置映射时,支持使用*号模糊映射,例如: -->
					<!-- <item>SYS*.* == TES*.*</item> 把所有模式名为SYS打头的模式下的表映射到目的端,目的端的模式名改成以TES打头 -->
					<!-- <item>SYSDBA.S* == TEST.T*</item> 把所有模式SYSDBA下以S打头的表映射到目的端,目的端的表名改成以T打头 -->
					<!-- <item>SYSDBA.TEST == TEST.XXX</item> 把所有模式SYSDBA下的表TEST映射到目的端,目的端的表名改成XXX -->
					<item></item><!-- 映射项,可以配置N个该项,样例 <item>SYSDBA.* == TEST.*</item> 把主机SYSDBA模式下的表同步到备机TEST模式下 -->
				</map>
		</send>
	</cpt>
</dmhs>

2 修改目的端配置文件

<?xml version="1.0" encoding="GB2312"?>
<dmhs>
	<base><!-- 管理模块的基本配置 -->
		<lang>ch</lang><!-- 语言选项,ch为中文,en为英文 -->
		<mgr_port>5345</mgr_port><!-- 管理端口号,默认为5345,最小值1000,最大值65535 -->		
		<chk_interval>2</chk_interval><!-- 状态轮询间隔,默认为3s,最小值1s,最大值60s -->		
		<ckpt_interval>60</ckpt_interval><!-- 执行端检查点间隔,默认60s,最小值10s,最大值65536s -->
		<siteid>2</siteid><!-- 站点ID,这个ID配置时要注意,全局唯一,最小值0,最大值65535 -->
	</base>
	<recv><!-- 接收模块的基本配置,如果该节点只作为分析端,该节点需要删除 -->
		<data_port>5346</data_port><!-- 数据接收端口号,默认为5346,最小值1000,最大值65535 -->
		<exec><!-- 执行模块的基本配置 -->
			<db_type>dm7</db_type><!-- 数据库类型,默认为dm7,限定值Oracle10g,Oracle11g,dm6,dm7 -->
			<db_server>127.0.0.1</db_server><!-- 数据库服务名或IP -->
			<db_user>SYSDBA</db_user><!-- 数据库用户名,默认为SYSDBA -->
			<db_pwd>SYSDBA</db_pwd><!-- 数据库口令,默认为SYSDBA -->
			<db_port>5236</db_port><!-- 数据库端口号,默认为5236 -->
			<db_name></db_name><!-- 默认数据库名,默认为空串(只针对dm6有用) -->
			<exec_mode>1</exec_mode><!-- 执行模式, 1(多线程执行),2(ETL模式),3(消息中转模式,跨网段级联时使用) -->
			<exec_thr>8</exec_thr><!-- 执行线程个数,只有当exec_mode为1时才会生效!默认为1,最小值1,最大值64 -->
			<exec_sql>512</exec_sql><!-- SQL缓存大小,默认为512M,最小值32M,最大值4096M -->
			<exec_trx> 5000 </exec_trx><!-- 事务缓存个数,默认为5000,最小值,1000,最大值10000 -->
			<exec_rows>250</exec_rows><!-- 批量绑定行数,默认为250,最小值1,最大值2000 -->
			<exec_policy>2</exec_policy><!--执行策略:0 出错后忽略继续。1 出错后停止执行。2 出错后部分执行继续-->
			<msg_col_size>8000</msg_col_size><!-- 保存缓存消息列的大小,这取决于目的库的块大小, 默认为8000,最小值1000,最大值8000 -->
			<level>0</level><!-- 复制级别,默认为0,最小值0,最大值65535 -->
		</exec>
	</recv>
</dmhs>

注意:源端和目的端的site_id标签不能重复

五 启动应用

1 分别启动源端和目的端的dmhs_server

image.png
image.png

2 启动目的端dmhs_console执行startexec命令

image.png
image.png

3 源端dmhs_console进行copy字典

非初次安装需要先stop cpt
image.png
image.png
image.png
4 源端执行 start cpt
image.png
image.png
image.png
如果dmhs.xml中net_turns为1日志执行模块会显示数据库异常

六、同步验证

1 源端创建测试表并插入测试数据

image.png

2 目的端进行验证

image.png

七 问题及解决

image.png
image.png
image.png
image.png
image.png
image.png
1、缺少lib库的报错只需要将对应的lib库文件放到dmhs/bin目录下解决
2、dmhs_server连接数据库时core掉通常是由于libdmoci.so文件的版本与数据库版本不匹配导致的(例如同为DM7版本,lib库文件为2023年3月,数据库版本为2024年5月会导致连接数据库失败)
3、初始化SSL环境失败,是因为安全版数据库默认开始加密导致的。将dm.ini中ENABLE_ENCRYPT修改为0,重启数据库即可解决。

评论
后发表回复

作者

文章

阅读量

获赞

扫一扫
联系客服