1 场景规划

业务规划

数据同步场景中已部署两个数据库，包括源数据库PostgreSQL 11（192.168.20.24）和目标数据库DM8（192.168.20.21），现需通过搭建DMDRS，将源数据库resources模式下所有表的全量数据和增量数据同步到目标数据库的RESOURCES模式。

• 源DMDRS：捕获源数据库的数据，将捕获到的数据发送到目标DMDRS。

• 目标DMDRS：将接收的数据同步到目标数据库。

网络规划

目录规划

源数据库、源DMDRS服务和目标DMDRS服务相关的目录规划如下表所示。

2 设置DMDRS运行用户

1. 设置源DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限，并设置运行用户同数据库归档文件所在目录属同一用户组，此用户组应对归档文件所在目录及子目录有读权限。

2. 设置目标DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限。

3 设置环境变量

在源DMDRS服务器的环境变量中添加ODBC驱动文件路径，在目标DMDRS的服务器的环境变量中添加DMDPI驱动文件路径。

1. 打开.bash_profile配置文件。

   $ vi ~/.bash_profile
   

2. 在.bash_profile配置文件末尾增加驱动路径。

   • 源DMDRS服务器环境变量中添加ODBC驱动路径。

     export LD_LIBRARY_PATH=<ODBC驱动路径>:$LD_LIBRARY_PATH
     

   • 目标DMDRS服务器环境变量中添加DMDPI驱动路径。

     export LD_LIBRARY_PATH=<DMDPI驱动路径>:$LD_LIBRARY_PATH
     

3. 保存并退出vi编辑器，使环境变量生效。

   $ source ~/.bash_profile
   

4. 查看环境变量是否设置成功。

   $ echo $LD_LIBRARY_PATH
   

4 开启源数据库的归档

以静态配置的方式开启源数据库的归档。

注意

源数据库未开启归档或者归档参数配置不正确，将无法进行同步。

1. 设置PostgreSQL数据库配置文件“postgresql.conf”中如下归档参数。

   • wal_level设置为logical。

   • archive_mode设置为on。

   • archive_command设置归档命令，命令格式示例如下：

     'cp %p /postgres/data/arch/%f'
     # /postgres/data/arch为归档文件路径，由用户指定
     # %p = 归档文件路径
     # %f = 归档文件名
     

2. 重启数据库服务，使配置生效。

3. 查看wal_level、archive_mode和archive_command参数配置是否生效。

   • 查看wal_level参数配置是否生效。

     SQL> select current_setting('wal_level');
      current_setting
     -----------------
      logical
     (1 行记录)
     

     查看结果为logical表示wal_level参数配置已生效。

   • 查看archive_mode参数配置是否生效。

     SQL> select current_setting('archive_mode');
      current_setting
     -----------------
      on
     (1 行记录)
     

     查看结果为on表示archive_mode参数配置已生效。

   • 查看archive_command参数配置是否生效。

     SQL> select current_setting('archive_command');
         current_setting
     -----------------------------
     cp %p /postgres/data/arch/%f
     (1 行记录)
     

     查看结果为配置的值表示archive_command参数已生效。

5 配置DDL同步

使用触发器方式配置DDL同步。

注意

• 创建DDL触发器和辅助表时，请使用具有DBA权限的用户。
• 如果触发器或辅助表无效或缺失，会导致DDL同步失败，甚至会影响数据库。

在源数据库执行“ddl_sql_pg.sql”脚本创建触发器和辅助表，脚本默认位置在DMDRS执行程序目录下的scripts子目录中。

SQL> \i ddl_sql_pg.sql

6 配置DMDRS服务

介绍源DMDRS服务和目标DMDRS服务的配置方法。

说明

以下DMDRS服务的配置文件仅为示例，在实际应用场景中，请根据实际搭建环境修改配置文件中的参数配置，具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。

6.1 配置目标DMDRS服务

在目标DMDRS服务的配置文件目录，打开并修改exec.xml配置文件，修改后配置文件如下所示。

注意

配置文件中的siteid为必配参数，配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性，如果重复，会造成链路中数据复制的混乱。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <exec>
        <name>exec_dm8</name>
        <login>
            <dbtype>dm8</dbtype>
            <server>192.168.20.21</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>
        </login>
        <toggle_case>2</toggle_case>
    </exec>
</drs>

6.2 配置源DMDRS服务

在源DMDRS服务的配置文件目录，打开并修改cpt.xml配置文件，修改后配置文件如下所示。

注意

配置文件中的siteid为必配参数，配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性，如果重复，会造成链路中数据复制的混乱。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <cpt>
        <name>cpt_pg</name>
        <login>
            <dbtype>postgres</dbtype>
            <server>192.168.20.24</server>
            <dbname>postgres</dbname>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5432</port>
        </login>
        <send>
            <ip>192.168.20.21</ip>
            <port>5345</port>
            <target_name>exec_dm8</target_name>
            <map>
                <item>resources.*==RESOURCES.*</item>
            </map>
        </send>
    </cpt>
</drs>

7 运行DMDRS服务

按照服务的运行顺序，启动目标DMDRS服务和源DMDRS服务。

7.1 启动目标DMDRS服务

1. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。

   $ cp TemplateService ../DrsService
   

2. 打开并修改DrsService服务脚本中的相关配置参数。

   $ vi DrsService
   

   INSTALL_HOME=/home/dmdrs/dmdrs5
   PROG_DIR=/home/dmdrs/dmdrs5/bin
   CONF_PATH=/home/dmdrs/dmdrs5/bin/exec.xml
   EXEC_PROG_NAME=drsvr
   SERVICE_TYPE_NAME="drs server"
   

3. 启动目标DMDRS服务。

   $ ./DrsService start
   

7.2 启动源DMDRS服务

1. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。

   $ cp TemplateService ../DrsService
   

2. 打开并修改DrsService服务脚本中的相关配置参数。

   $ vi DrsService
   

   INSTALL_HOME=/home/dmdrs/dmdrs5
   PROG_DIR=/home/dmdrs/dmdrs5/bin
   CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt.xml
   EXEC_PROG_NAME=drsvr
   SERVICE_TYPE_NAME="drs server"
   

3. 启动源DMDRS服务。

   $ ./DrsService start
   

7.3 启动源DMDRS服务中的CPT模块

使用服务脚本启动服务后，需要使用远程控制台对服务中的模块执行启动命令。

1. 启动控制台。

   $ ./drcsl cpt.xml
   

2. 连接源DMDRS服务。

   CSL> connect
   

3. 设置数据库当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置，请参考《DMDRS控制台命令手册》进行设置。

   CSL> alter cpt_pg set lsn
   

4. 启动源DMDRS服务中的CPT模块。

   CSL> start
   

5. 将源数据库中RESOURCES模式下所有的表添加同步，添加后自动将源数据库表的全量数据装载到目标数据库，装载完成后自动进行增量数据的同步。

   CSL> alter cpt_pg add table "sch.name='resources'" 
   

6. 使用命令查看数据装载的监控信息，具体命令请参见《DMDRS控制台命令手册》。

8 验证同步结果

在源数据库中RESOURCES模式下所有的表中分别插入数据，如果插入的数据能正确地同步到目标数据库，则表示数据同步成功。