DMHS数据同步（Oracle11g 到 dm8)

本文详细介绍了Oracle 11g 到 dm8 的数据同步安装部署过程。

建议虚拟机内存30G。

规划端口

ip地址	数据库版本	端口号	备注
192.168.100.5	Oracle11g	1521	源端
192.168.100.9	DM8	5236	目的端

1安装前准备（Oracle11g 源端）

1.1 开启归档

切换用户（尽量使用以下带 - 的方式切换用户）

su – oracle

创建目录

mkdir /home/oracle/archivelog

连接数据库

sqlplus / as sysdba

关闭数据库服务

SQL> shutdown immediate

以 mount 方式启动 oracle 数据库

SQL> startup mount

开启归档

SQL> alter database archivelog;

设置归档文件路径（如果使用本地路径存放归档日志，需要将 db_recovery_file_dest 参数置空，然后设置 log_archive_dest 参数

SQL> alter system set db_recovery_file_dest=’’;
SQL> alter system set log_archive_dest=’’/home/oracle/app/oracle/archivelog’;

恢复为 open 状态

SQL> alter database open;

再次检查归档

SQL> archive log list;

1.2 开启附加日志

附加日志（supplemental log）指数据库在日志中添加额外信息到日志流中，以支持基于日志的工具，进行数据的分析。

检查附加日志

SQL> select SUPPLEMENTAL_LOG_DATA_MIN min,SUPPLEMENTAL_LOG_DATA_PK  pk,SUPPLEMENTAL_LOG_DATA_UI ui,SUPPLEMENTAL_LOG_DATA_FK fk, SUPPLEMENTAL_LOG_DATA_ALL "all" from v$database;

开启数据库最小附加日志级全列日志

SQL> alter database add supplemental log data;
SQL> alter database add supplemental log data (all) columns;

再次检查附加日志

SQL> select supplemental_log_data_min, supplemental_log_data_all from v$database;

1.3 关闭 oracle 的回收机制

检查 oracle 回收机制 on/off

SQL> show parameter recyclebin;

如果是on，需要关闭oracle回收机制

SQL> alter system set recyclebin=off deferred;

需要重启数据库后才生效。

1.4 检查字符集是否一致

查询 oracle 数据库的字符集：（AMERICAN_AMERICA.ZHS16GBK）

SQL> select userenv(‘language’) from dual;

在根目录下执行

vi ~/.bash_profile

export NLS_LANG=”AMERICAN_AMERICA.ZHS16GBK”

source ~/.bash_profile

1.5 创建同步用户及授权

启动 oracle 数据库创建DMHS用户密码为DMHS并授权。

SQL> create user DMHS identified by "DMHS" default tablespace  USERS temporary tablespace TEMP profile DEFAULT;
SQL> grant connect to DMHS;
SQL> grant create any table to DMHS;
SQL> grant select any table to DMHS;
SQL> grant select any dictionary to DMHS;
SQL> grant create session to DMHS;
SQL> grant lock any table to DMHS;
SQL> grant execute on dbms_flashback to DMHS;
SQL> grant unlimited tablespace to DMHS;

1.6 安装 odbc

切换到root用户下

查看是否安装 odbc

rpm -qa|grep unixODBC

添加 odbc 环境变量

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib

安装 odbc

yum -y install unixODBC unixODBC-devel

安装完成后，执行以下命令：

odbcinst -j

配置 unixODBC

新增 odbc.ini 文件

vim /etc/odbc.ini

写入以下内容：

[ORACLE]
Description = Oracle ODBC driver for Oracle 11g
Driver= Oracle in OraDb11g_home1
SERVER = 192.168.100.5
ServerName = orcl
UserID = DMHS
Password = DMHS
Port = 1521

配置 odbcinst.ini 文件

vim /etc/odbcinst.ini

增加以下内容：

[Oracle in OraDb11g_home1]
Description = ODBC DRIVER FOR ORACLE
Driver = /home/oracle/app/oracle/product/11.2.0/dbhome_1/lib/libsqora.so.11.1
Threading = 0

查看是否缺少依赖：

ldd /home/oracle/app/oracle/product/11.2.0/dbhome_1/lib/libsqora.so.11.1

如果发现缺少依赖文件。

查找系统其他位置是否存在依赖文件：

find / -name libodbcinst*

复制相应文件到依赖路径下：

cp /usr/lib64/libodbcinst.so.2 /lib64/libodbcinst.so.1

配置完成之后，可使用 isql 命令测试配置是否正确。
注意要用 oralce 用户测试。

isql -v ORACLE DMHS DMHS

2安装前准备（DM8 目的端）

2.1 开启归档

连接数据库

disql SYSDBA/SYSDBA@192.168.100.9:5236

查询归档是否开启，Y/N

SQL> select arch_mode from v$database;

开启归档

如果查询结果为N需要开启归档

alter database mount;
alter database archivelog;
ALTER DATABASE ADD ARCHIVELOG 'DEST = /home/dm/dmdbms/arch, TYPE = local, FILE_SIZE = 1024, SPACE_LIMIT = 2048';
alter database open;

再次查询归档是否开启，Y/N

select arch_mode from v$database;

2.2 开启逻辑日志

执行数据库后重启数据库服务生效

SQL> SP_SET_PARA_VALUE(2,'RLOG_APPEND_LOGIC',1);
SQL> exit；

DmServiceDMSERVER restart;

查询逻辑日志是否开启：1/0

SQL> SELECT PARA_VALUE FROM SYS.V$DM_INI WHERE PARA_NAME='RLOG_APPEND_LOGIC';

dm.ini 配置参数中“FAST_COMMIT”必须为 0，否则会导致逻辑日志不全而影响同步。

SQL> select para_value from v$dm_ini where para_name = 'FAST_COMMIT';

输出为 0 则正常。

2.3 创建同步用户及授权

创建用户

SQL> create user DMHS identified by "DMHS" default tablespace MAIN temporary tablespace TEMP;

给用户授权

SQL> grant resource to DMHS;
SQL> grant select any table to DMHS;
SQL> grant dba to DMHS;
SQL> grant unlimited tablespace to DMHS;

3 DMHS 服务部署（dm8 目的端）

3.1 部署 dmhs 服务

选择正确版本的dmhs安装包安装

修改配置文件

在安装目录的bin目录下

vim  dmhs.hs

文件内容：

<?xml version="1.0" encoding="GB2312"?>
<dmhs>
 <base>
<lang>en</lang>
 <mgr_port>5345</mgr_port>
 <ckpt_interval>60</ckpt_interval>
 <siteid>1</siteid>
<version>2.0</version>
 </base>
  <exec>
        <recv>
            <data_port>5346</data_port>
        </recv>
        <db_type>dm8</db_type>
        <db_server>192.168.100.9</db_server>
        <db_user>SYSDBA</db_user>
        <db_pwd>SYSDBA</db_pwd>
        <db_port>5236</db_port>
        <char_code>PG_UTF8</char_code>
        <db_name></db_name>
        <exec_thr>8</exec_thr>
        <exec_sql>1024</exec_sql>
           <exec_trx>2000</exec_trx>
<exec_rows>2000</exec_rows>
        <msg_col_size>30000</msg_col_size>
        <ddl_continue>1</ddl_continue>
        <affect_row>0</affect_row>
   <exec_policy>2</exec_policy>
        <enable_rowid>0</enable_rowid>
        <clear_trx_file>1</clear_trx_file>
        <trx_max_file>8</trx_max_file>
    </exec>
</dmhs>

3.2启动dmhs服务

在dmhs安装目录下bin路径执行

./dmhs_server dmhs.hs

在开一个终端执行

./dmhs_console

启动 exec 模块

DMHS> start exec

4 DMHS 服务部署（Oracle11g 源端）

4.1 部署 dmhs 服务

选择正确版本的dmhs安装包安装

修改配置文件

在安装目录的bin目录下

vim dmhs.hs

文件内容：（注意修改俩 ip 地址）

<?xml version="1.0" encoding="GB2312"?>
<dmhs>
        <base><!-- 管理模块的基本配置 -->
                <lang>en</lang><!-- 语言选项,ch为中文,en为英文 -->
                <mgr_port>5345</mgr_port><!-- 管理端口号，默认为5345，最小值1000，最大值65535 -->
                <ckpt_interval>60</ckpt_interval><!--执行端检查点间隔，默认60s，最小值10s，最大值65536s -->
                <siteid>100</siteid><!-- 站点ID，这个ID配置时要注意，全局唯一，最小值0，最大值65535 -->
                <version>2.0</version><!-- 版本号-->
        </base>
        <cpt><!-- 这项配置可以配置多个,也就是可以配置多个捕获模块,如果该节点只作为执行端,该节点需要删除 -->
                <db_type>oracle11g</db_type><!-- Oracle数据库类型，限定值Oracle10g,Oracle11g,dm6,dm7 -->
                <db_server>192.168.100.5/orcl</db_server><!-- 数据库实例名-->
                <db_user>DMHS</db_user><!-- 需要同步的数据库用户名，默认为SYSDBA -->
                <db_pwd>DMHS</db_pwd><!-- 数据库用户口令，默认为SYSDBA -->
                <db_port>1521</db_port><!-- Oracle数据库端口号-->
                <ddl_mask>0</ddl_mask><!-- 分析端是否支持DDL同步，可选项0(不支持DDL)， 1(支持DDL)，需要将安装脚本中对应的DDL脚本在源端执行-->
                <arch>
                        <clear_interval>600</clear_interval><!-- 归档文件清理间隔，默认为600s，最小值60s，最大值2000000000s -->
                        <clear_flag>0</clear_flag><!-- 清除归档日志的方式，可选项0(无动作), 1(删除归档文件), 2(表示移走归档文件)-->
                </arch>
                <send><!-- 发送模块配置 -->
                        <ip>192.168.100.9</ip><!-- 目的端IP，默认127.0.0.1 -->
                        <mgr_port>5345</mgr_port><!-- 目的端管理端口，默认为5345，最小值1000，最大值65535 -->
                        <data_port>5346</data_port><!-- 目的端数据接收端口号，默认为5346，最小值1000，最大值65535 -->
                        <filter><!-- 过滤，必须指定,一定要注意大小写,要跟源库中的对像名大小写保持一致 -->
                                <enable>
                                        <item>DMHS.*</item><!-- 需要同步的源端数据库对象 -->
                                </enable>
                        </filter>
                        <map>
                                <item>DMHS.*==SYSDBA.*</item><!-- 映射，将源端数据库对象映射到目的端的SYSDBA用户中 -->
                        </map>
                </send>
        </cpt>
</dmhs>
~                                                                                                                                    

4.2 启动dmhs服务

在dmhs安装目录下bin路径执行

./dmhs_server dmhs.hs

在开一个终端执行

./dmhs_console

DMHS> clear exec lsn
DMHS> load 0  "sch.name='DMHS'" CREATE|INSERT|DICT
DMHS> start cpt

5 验证同步效果

5.1登录 Oracle 创建表及添加数据

使用 oracle 用户登录 Oracle 数据库，创建数据表，并添加数据。

查看表记录

5.2登录 DM 验证同步结果

在 SYSDBA用户下执行命令，连接数据库

查看系统表，确定数据表 "A" 在达梦数据库中已创建

SQL> select table_name from A;

查询表记录，数据跟 Oracle 数据库中数据表记录一致

SQL> select * from A;

至此，Oracle 11g 到 DM8 的数据同步部署成功！

若要退出，则先于源端执行 stop cpt ，再于目的端执行 stop exec 。

5.3DDL验证

使用SYSDBA连接登录数据库执行DMHS安装目录下script子目录的“ddl_sql_ora.sql”脚本。（如果使用disql工具执行，需要先执行set define off和set char_code utf8来设置关闭本地变量和设置字符集编码，然后使用"start /xx/xx.sql"执行该脚本，如果是使用DM管理工具连接的数据库，可以直接复制SQL脚本内容到查询框执行即可）。

查看表数据

修改表结构

查看目的端表结构：可以看到ddl已经同步过来了

分区表同步

修改Oracle源端dmhs.hs 中ddl_mask参数

启动目的端dmhs

启动源端dmhs

源端创建分区表

CREATE TABLE INFO(
	NAME VARCHAR(50),
	PRICE INT
)
PARTITION BY RANGE(PRICE)(
	PARTITION P1 VALUES LESS THAN (10),
	PARTITION P2 VALUES LESS THAN (100),
	PARTITION P3 VALUES LESS THAN (1000),
	PARTITION P4 VALUES LESS THAN (MAXVALUE)
);

插入数据

insert into DMHS.INFO values('铅笔',1);
insert into DMHS.INFO values('笔记本',22);
insert into DMHS.INFO values('蓝牙耳机',868);
insert into DMHS.INFO values('电脑',4599);
insert into DMHS.INFO values('牙刷',8);
insert into DMHS.INFO values('水杯',15);
insert into DMHS.INFO values('书包',35);

目的端查询INFO_P1表

6问题

6.1 dmhs.key 缺失或失效

问题描述：

解决办法：

在DMHS 安装bin目录下增加一个在有效使用期限内的 dmhs.key 文件。

6.2 目的端 exec 模块加载失败

问题描述：

DMHS> start exec
CSL[ERROR]: load execute module failure

解决办法：

ldd libdmhs_exec.so

发现缺少 libmoci.so 文件，执行以下命令查找：

find / -name libmoci.so
找到文件后复制到 /home/dmdba/dmdbms/bin 目录下即可。
重新启动控制台，启动 exec 模块成功。

总结

Oracle 11g 到 dm8 的数据同步安装部署过程基本如上。其难点主要在于选择合适的dmhs版本的安装、环境变量的配置（如环境变量和字符集设置）、dmhs.hs的配置，odbc的配置和相关依赖的缺失解决。

如果报错找不到相关依赖文件，先到 dmhs 的 bin 目录下查看相关文件是否存在。若存在，则是 LD_LIBRARY_PATH 环境变量未配置好，没有添加 dmhs 的 bin 目录为环境变量；若不存在，则执行 find / -name lib*.so，将其中一份复制到 /dmhs/bin 目录下或者系统可读依赖目录下即可。

查找DMHS依赖命令

ldd dmhs_server

ldd dmhs_console

在配置过程中，出现了磁盘空间不够的情况也会报错，在配置虚拟机环境时候建议配置内存大于等于30G。