动态扩展节点

DMDSC 集群支持动态扩展节点,每次扩展可以在原有基础上增加一个节点。

动态扩展节点要求当前 DMDSC 集群的所有节点都为 OK 状态,所有 dmserver 实例都处于 OPEN 状态,且可以正常访问。

注意

扩展节点过程中,不应该有修改数据库状态或模式的操作。

13.1 动态扩展节点流程

基于 11.2 节成功架构的共享存储集群系统,下面介绍如何动态扩展一个节点。

已搭建好的 DMDSC 集群实例名为 DSC0、DSC1,在此基础上扩展一个节点 DSC2。

13.1.1 环境说明

新增节点环境为:

操作系统:RedHat Linux 64 位。

网络配置:eth0 网卡为 10.0.2.x 内网网段,该机器为 10.0.2.103;eth1 为 192.168.56.x 外网网段,该机器为 192.168.56.103。内网网段用于 MAL 通讯。

配置文件位于目录:/home/data。

表13.1 配置环境说明
实例名 IP 地址 操作系统 备注
DSC0 192.168.56.101 10.0.2.101 RedHat Linux 64 位 192.168.56.101 外部服务 IP; 10.0.2.101 内部通信 IP
DSC1 192.168.56.102 10.0.2.102 RedHat Linux 64 位 192.168.56.102 外部服务 IP; 10.0.2.102 内部通信 IP
DSC2 192.168.56.103 10.0.2.103 RedHat Linux 64 位 192.168.56.103 外部服务 IP; 10.0.2.103 内部通信 IP

13.1.2 操作流程

  1. 在 10.0.2.101 机器上使用 DMASMCMD 工具 export 出备份 dmdcr_cfg_bak.ini
[/opt/dmdbms/bin]## ./dmasmcmd
Asm> export dcrdisk '/dev/raw/raw1' to '/home/data/dmdcr_cfg_bak.ini'
  1. 为新增节点准备日志文件
  1. 使用 DIsql 登录任意一个节点执行添加日志文件操作:

至少两个日志文件,路径必须是 ASM 文件格式,大小可以参考其他两个活动节点。

SQL>alter database add node logfile '+DMLOG/log/DSC2_log01.log' size 256, '+DMLOG/log/DSC2_log02.log' size 256;

2)使用 dmctlcvt 工具将 dm.ctl 转换为文本文件 dmctl.txt,查看 dmctl.txt,新增节点的日志文件信息已经添加进 dm.ctl。

./dmctlcvt TYPE=1 SRC=+DMDATA/data/dsc/dm.ctl DEST=/home/data/dmctl.txt DCR_INI=/home/data/dmdcr.ini

3)使用 dmasmtool 工具登录 ASM 文件系统,也可以看到新增的节点日志文件

[/opt/dmdbms/bin]## ./dmasmtool DCR_INI=/home/data/dmdcr.ini
ASM>ls +DMLOG/log
  1. 为新增节点准备 config_path

将 10.0.2.101 机器/home/data/dsc0_config 目录拷贝到 10.0.2.103 机器相同目录下,修改名字为/home/data/dsc2_config。

修改 dsc2_config 文件夹下的配置文件:

  1. 修改 dm.ini
CONFIG_PATH = /home/data/dsc2_config
instance_name = DSC2
  1. 如果打开了归档参数,修改 dmarch.ini
  1. 新建 dmdcr.ini 配置文件,保存到节点 10.0.2.103 的/home/data/目录下面

注意设置 dmdcr_seqo 为 2,修改 dm.ini 路径。

DMDCR_PATH     = /dev/raw/raw1
DMDCR_MAL_PATH =/home/data/dmasvrmal.ini  ##dmasmsvr使用的MAL配置文件路径
DMDCR_SEQNO   = 2
##ASM重启参数,命令行方式启动
DMDCR_ASM_RESTART_INTERVAL = 0
DMDCR_ASM_STARTUP_CMD = /opt/dmdbms/bin/dmasmsvr dcr_ini=/home/data/dmdcr.ini

##DB重启参数,命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 0
DMDCR_DB_STARTUP_CMD = /opt/dmdbms/bin/dmserver path=/home/data/dsc2_config/dm.ini dcr_ini=/home/data/dmdcr.ini
  1. 修改当前环境的 MAL 配置文件

直接修改当前环境的 dmasvrmal.ini 文件,添加新增节点信息,使用 DMASM 的所有节点都要配置,内容完全一样,并且将新增信息后的 dmasvrmal.ini 文件拷贝到节点 10.0.2.103 的/home/data 目录下。

[MAL_INST3]
MAL_INST_NAME = ASM2
MAL_HOST = 10.0.2.103
MAL_PORT = 7238

直接修改 dmserver 三个实例的 dmmal.ini,添加新增节点信息,所有节点都要配置相同内容,保存到各自的 dsc_config 目录下。

[mal_inst2]
mal_inst_name = DSC2
mal_host = 10.0.2.103
mal_port = 9342

后续实例会重新读 MAL 配置文件,更新内存信息。

  1. 修改 dmdcr_cfg_bak.ini,添加新增节点信息,CSS/ASMSVR/DB 都要配置

所有组信息修改:

DCR_GRP_N_EP = 3
DCR_GRP_EP_ARR = {0,1,2}

每个组增加一个节点信息,注意 DCR_EP_SHM_KEY、端口号不能冲突;各组信息要放在各自的后面,即[GRP_CSS]中 CSS2 放在 CSS1 后面,[GRP_ASM]中 ASM2 放在 ASM1 后面,DSC2 放在 DSC1 后面。

[GRP_CSS]
DCR_EP_NAME	=	CSS2
DCR_EP_HOST		= 	10.0.2.103
DCR_EP_PORT		= 	9500

[GRP_ASM]
DCR_EP_NAME	= 	ASM2
DCR_EP_SHM_KEY	= 	93362
DCR_EP_SHM_SIZE	= 	20
DCR_EP_HOST	= 	10.0.2.103
DCR_EP_PORT	= 	9501
DCR_EP_ASM_LOAD_PATH	=	/dev/raw

[GRP_DSC] 
DCR_EP_NAME        =	DSC2
DCR_EP_SEQNO       =	2
DCR_EP_PORT        =	5236
DCR_CHECK_PORT     =	9502
  1. 使用 DMASMCMD 工具将新增节点信息写回磁盘,新增节点作为 error 节点
[/opt/dmdbms/bin]## ./dmasmcmd
Asm> extend dcrdisk '/dev/raw/raw1' from '/home/data/dmdcr_cfg_bak.ini'
  1. 在 dmcssm 控制台执行扩展节点命令
extend node

程序会通知所有实例(CSS/ASMSVR/dmserver)更新信息,在 CSS 控制台执行 SHOW 命令,能看到新增节点信息,ASMSVR/dmserver 是 error 节点,程序会通知 ASMSVR/dmserver 更新 MAL 信息。

  1. 启动新的 DMCSS、DMASM 服务程序

在 10.0.2.103 节点启动 dmcss、dmasmsvr 程序。

手动启动新的 dmcss,dcr_ini 指向新的 dmdcr.ini 文件:

[/opt/dmdbms/bin]## ./dmcss DCR_INI=/home/data/dmdcr.ini

手动启动新的 dmasmsvr,dcr_ini 指向新的 dmdcr.ini 文件,asmsvr 启动故障重加入流程:

[/opt/dmdbms/bin]## ./dmasmsvr DCR_INI=/home/data/dmdcr.ini

如果 DMCSS 配置有自动拉起 dmasmsvr 的功能,可以等待 DMCSS 自动拉起 dmasmsvr 程序,不需要手动启动。

  1. 启动新的数据库服务器

如果 DMCSS 配置有自动拉起 dmserver 的功能,可以等待 DMCSS 自动拉起实例,不需要手动启动。

如果需要手动启动,可参考下面的操作步骤:

10.0.2.103 机器:

./dmserver /home/data/dsc2_config/dm.ini dcr_ini=/home/data/dmdcr.ini
  1. 配置 dmcssm.ini

如果配置有监视器,则直接修改 dmcssm.ini,增加新扩节点 DMCSS 的 IP:PORT 配置项 CSSM_CSS_IP,并重启 dmcssm。

如果没有配置,可参考下面的操作步骤:

以搭建的 3 节点 DSC 环境为基础,配置对应的监视器,监视器放在第三方机器上,为 Linux 操作系统,dmcssm.ini 配置文件路径为/home/data/cssm/,可根据实际情况调整配置环境及路径。

  1. 配置 dmcssm.ini 文件
##和dmdcr_cfg.ini中的DCR_OGUID保持一致
CSSM_OGUID	=	63635 

##配置所有CSS的连接信息,
##和dmdcr_cfg.ini中CSS配置项的DCR_EP_HOST和DCR_EP_PORT保持一致
CSSM_CSS_IP = 10.0.2.101:9341
CSSM_CSS_IP = 10.0.2.102:9343
CSSM_CSS_IP = 10.0.2.103:9500

CSSM_LOG_PATH	=	/home/data/cssm	##监视器日志文件存放路径
CSSM_LOG_FILE_SIZE		=	32			##每个日志文件最大32M
CSSM_LOG_SPACE_LIMIT	=	0		##不限定日志文件总占用空间
  1. 启动 dmcssm 监视器
./dmcssm INI_PATH=/home/data/cssm/dmcssm.ini
注意

如果由于配置文件错误,动态扩展节点失败,只能停掉所有实例,重新init dcr磁盘,不影响dmserver数据。

13.1.3 注意事项

  1. 扩展节点前由用户保证所有 dmcss/dmasmsvr/dmserver 节点都是 OK 的,且都是活动的;
  2. 每次扩展节点只能扩一个节点,扩展完成后可以再继续扩展节点;
  3. 扩展节点的过程中不能出现修改实例状态或模式的操作;
  4. 扩展节点的过程中,如果发生 dmcss/dmasmsvr/dmserver 实例故障,会导致扩展失败;
  5. 扩展过程中操作失误(比如未修改 dmmal.ini、asmsvrmal.ini,未增加日志文件),会导致扩展失败;
  6. 执行完 extend node 命令,用户需要查看 log 文件,确认扩展操作是否成功;
  7. 扩展失败可能会导致集群环境异常,需要退出所有 dmcss/dmasmsvr/dmserver,重新 init dcr 磁盘。
微信扫码
分享文档
扫一扫
联系客服