注册
DEM执行DPC集群常见的部署、运维、监控操作流程
技术分享/ 文章详情 /

DEM执行DPC集群常见的部署、运维、监控操作流程

SapphireAzur 2024/03/20 1216 1 2

DEM执行DPC集群常见的部署运维监控操作

部署前,首先确保DEM主机代理监控全部正常

image20240318142728635.png

通过 DEM 部署DPC集群:

以三副本为例

添加任务

在集群部署界面添加一个任务

Snipaste_20231228_155211.png

填写本次任务的名称

Snipaste_20231228_162244.png

类型选择分布式

Snipaste_20231228_162856.png

假设本次选择3台机器搭建dpc,环境为3sp+1mp+3bp(mp和bp均为3副本)

环境准备界面选择要搭建集群的所有主机(只会显示加入了DEM监控的主机)

Snipaste_20231228_163246.png

实例规划

实例规划界面,执行主机实例、端口号、工作路径的配置

一般情况下,取消勾选“创建混合表空间”和“独立执行码”

表空间通常后续手工创建完成

若勾选"独立执行码",则一台主机上的所有实例都会有各自单独的bin目录,不方便运维操作,取消勾选,则一台主机上的所有实例共用一个bin目录

参数配置界面一般用于配置工作目录和端口号初始值,后续添加节点时将默认配置好工作目录,端口号也会从初始值递推

(如果配置的集群bin路径为/dmdata/database_test/dmdpc/bin,则工作目录为/dmdata/database_test,部署名称为dmdpc)

实例名称的命名规范

组件类型 副本一 副本二 副本三 RAFT名称 RAFT_VOTE_INTERVAL
MP MP_A MP_B MP_C MP没有RAFT名称 7、13、21
SP SP1 SP2 SP3 RAFT_SP1/RAFT_SP2/RAFT_SP3
BP1 BP1_A BP1_B BP1_C RAFT_1 7、13、21
BP2 BP2_A BP2_B BP2_C RAFT_2 7、13、21
BP3 BP3_A BP3_B BP3_C RAFT_3 7、13、21

实例名后缀 A B C,假设其RAFT_VOTE_INTERVAL 依次为7s,13s,21s,则可实现A B C 依次优先被选举为主机。

端口号规划

实例类型 实例端口 AP_PORT 备注
MP 4220 4620 MP_PORT默认9000
SP 4230 4630 每台机器规划1个SP实例
BP 4240-4242 4640-4642 每台机器规划3个BP实例

每个MP 实例,需要3个端口号

每个SP实例,需要2个端口号

每个BP实例,需要2个端口号,4240-4242,占用了3个端口,表示该服务器上,会有3个BP的实例。

每个实例,除了实例端口, 还需要配置1个AP_PORT的端口,所以每个实例默认要2个端口号。而MP实例,额外需要MP_PORT端口,故MP实例需要3个端口号。

上述端口号仅为例子,实际项目中根据项目需求规划。

参数配置界面需要配置linux工作目录。若是在新环境第一次部署集群,则剩余的端口初始值无需修改。本次依据上文规划的端口进行配置。

Snipaste_20231228_164331.png

添加实例有“添加实例”和“快速添加实例”两种方式

添加实例:需选择实例类型和RAFT组名称,

按配置需要,依次勾选需要搭建的主机,实例名后缀默认按英文字母顺序扩展,三副本情况下扩展到C

一般以后缀为A的节点为主节点,其余为副本

首先添加sp实例,类型选择为sp,然后按照下图1,2,3的顺序勾选,即可按顺序创建sp1,sp2和sp3。

Snipaste_20231228_165415.png

然后再点击添加实例,在弹出的界面选择mp,并同样按1,2,3的顺序勾选,即可按顺序创建mp_a(主副本),mp_b和mp_c(备副本)。

Snipaste_20231228_165609.png

然后再点击添加实例,在弹出的界面选择bp,raft组填写为raft_1,同样按1,2,3的顺序勾选,即可按顺序创建bp1_a(主副本),bp1_b和bp1_c(备副本)。若需要搭建影子库(影子库不是必须项,根据实际需求配置),则在相应实例后勾选影子库即可。

Snipaste_20231228_170017.png

然后再点击添加实例,在弹出的界面选择bp,raft组填写为raft_2,同样按1,2,3的顺序勾选
(这里注意123的顺序有所变化,因为搭建dpc要尽可能的将每个raft组的主副本分散到不同机器上,确保每台机器上有一个主副本,从而提升高可用性)
即可按顺序创建bp2_a(主副本),bp2_b和bp2_c(备副本)。若需要搭建影子库(影子库不是必须项,根据实际需求配置),则在相应实例后勾选影子库即可。

Snipaste_20231228_170555.png

然后再点击添加实例,在弹出的界面选择bp,raft组填写为raft_3,同样按1,2,3的顺序勾选
(这里注意123的顺序有所变化,因为搭建dpc要尽可能的将每个raft组的主副本分散到不同机器上,确保每台机器上有一个主副本,从而提升高可用性)
即可按顺序创建bp3_a(主副本),bp3_b和bp3_c(备副本)。若需要搭建影子库(影子库不是必须项,根据实际需求配置),则在相应实例后勾选影子库即可。

Snipaste_20231228_170736.png

至此,整个dpc的实例就添加完成了

完成初步规划后,可尝试点击"下一步",最常见的报错是提示端口号冲突

仔细检查每一台主机上的PORT_NUM、AP_PORT_NUM、MP实例的MP_PORT是否存在冲突

如果不存在冲突,检查配置的端口号是否被别的进程占用

在端口无冲突、占用的情况下,可正常点击下一步

Snipaste_20231228_170832.png

快速添加实例:按配置文本说明,写好配置文件,便可快速的完成实例规划

简单的内容示例:

[实例所在的主机IP地址1]

实例类型 实例名 RAFT组(MP略去) 影子库(SP略去,不填写默认为非影子库)

实例类型 实例名 RAFT组 影子库

实例类型 实例名 RAFT组 影子库

[实例所在的主机IP地址2]

实例类型 实例名 RAFT组 影子库

实例类型 实例名 RAFT组 影子库

实例类型 实例名 RAFT组 影子库

[实例所在的主机IP地址3]

…(后略)

image20240318151828635.png

BP组和BP域配置”、“地域、数据中心和容错域配置”、如有需要可自行配置

参数配置

初始化参数配置界面,完成初始化相关的参数配置,根据实际需要自行更改,没有涉及到的参数可在"自定义库初始化参数"配置

配置完成后,点击"应用到其他实例"

image20240318153425560.png

dm.ini配置,同样根据自行需要配置,完成配置后应用到其它实例

image20240318153636592.png

dmarch.ini配置,重点配置XMAL_HB_INTERVAL(可设为100),RAFT_VOTE_INTERVAL(三副本下,A、B、C副本可分别设为3000,7000,13000;该参数决定了集群选举切换的优先级)

超时配置时间(RAFT_VOTE_INTERVAL) 影响故障时,主机的选举时间,即业务恢复时间。设置小了,但业务比较忙时容易出现误判,下述为项目经验,可直接采用。

选择超时配置 RAFT_VOTE_INTERVAL:

实例名称_A: 7000 实例名称_B: 13000 实例名称_C: 21000

以下参数的修改应用到所有节点

XMAL_HB_INTERVAL=100 ARCH_FILE_SIZE= 2048 ARCH_SPACE_LIMIT= 204800 #根据硬盘大小,可以调大。

下述为具体步骤:

1.修改XMAL_HB_INTERVAL,ARCH_FILE_SIZE和ARCH_SPACE_LIMIT参数

点击BP1_A,然后修改上述三个参数,最后点击应用到其他实例。

Snipaste_20231228_172355.png

这里勾选全部,然后点击确定。

Snipaste_20231228_173150.png

2.修改所有以‘_A’结尾的实例的raft_vote_interval为7000。点击BP1_A,然后配置raft_vote_interval为7000,点击应用到其他实例。

Snipaste_20231228_173358.png

这里用_A过滤,然后勾选所有过滤出来的实例。

Snipaste_20231228_173448.png

3.修改所有以‘_B’结尾的实例的raft_vote_interval为13000。点击BP1_B,然后配置raft_vote_interval为13000,点击应用到其他实例。

Snipaste_20231229_092733.png

这里用_B过滤,然后勾选所有过滤出来的实例。

Snipaste_20231229_092838.png

4.修改所有以‘_C’结尾的实例的raft_vote_interval为21000。点击BP1_C,然后配置raft_vote_interval为21000,点击应用到其他实例。

Snipaste_20231229_093222.png

这里用_C过滤,然后勾选所有过滤出来的实例。

Snipaste_20231229_093312.png

最后点击下一步。

Snipaste_20231229_093355.png

执行部署

上传服务器文件界面,可选择添加本地文件或已经上传DEM的资源包,格式支持iso、tar.gz、zip、bin

image20240318162152452.png

详情总览界面可对集群搭建信息做最后的确认

image20240318162836153.png

最后执行搭建即可

搭建完成后,添加到监控 (如执行任务中,"正常启动一次实例"时报错,则参考BUG118136)

image20240318164316150.png

等待一会,在数据库监控机界面便可正常显示所有实例的监控信息

image20240318165153500.png

运维操作

实例启停:选择集群,执行启停

image20240318165852722.png

在启停界面执行"启动"或"停止"

image20240318170130943.png

修改数据库参数:选择集群,执行配置

image20240318170207872.png

在配置界面更改对应的参数,选中修改过的参数,右键应用选中到对应的实例

image20240318170556178.png

image20240318170708285.png

之后停止数据库,脱机执行参数修改即可

数据库执行码升级、KEY升级

集群脱机状态下,选择"升级"-“执行码"或者"KEY”

image20240319114300738.png

选择要升级的数据库,此处选择所有

image20240319114433080.png

进入配置界面,必须的配置项只有升级文件,格式支持iso、bin、tar.gz、zip

手动打包时,进入bin目录下,全选文件右键使用压缩工具来打包,切记不要在bin目录上压缩,一定要进入到bin目录里面去操作

Snipaste_20231229_102252.png

用户名、密码在不使用前置脚本、后置脚本的情况下可忽略;

用户名和密码是指主机的用户名和密码,若所有主机皆相同,填好一台机器的配置,右键应用到所有即可

image20240319114824795.png

详情总览界面确认无误后,点击下一步执行升级

image20240319115044059.png

升级完成后,启动集群

连接SP节点,执行SELECT*FROM V$VERSION;

检查是否正常升级

升级KEY的流程与执行码基本一致,只是配置界面上传的升级文件要求只含有dm.key

image20240319143221868.png

image20240319143131281.png

导出堆栈、运行日志

image20240319134451097.png

选择需要导出的数据库,这里选择全部

image20240319134829559.png

配置界面,需配置主机的用户名、密码

image20240319135116908.png

总览界面确认无误后开始执行

image20240319135421768.png

执行完成后,下载到本地,解压查看

image20240319135819542.png

image20240319135912557.png

导出运行日志过程与堆栈基本一致,配置时改为开始时间、结束时间,同样可以右键应用到所有节点

image20240319140112406.png

同样执行完成后,下载到本地解压查看

image20240319140316377.png

评论
后发表回复

作者

文章

阅读量

获赞

扫一扫
联系客服