注册
DPC集群安装部署
专栏/技术分享/ 文章详情 /

DPC集群安装部署

最伟大的哥哥 2026/09/11 12 0 0
摘要


(一)、什么是DMDPC
    达梦分布计算集群英文全称 DM Distributed Processing Cluster,简称 DMDPC。 DMDPC 是基于达梦数据库管理系统研发的一款同时支持在线分析处理和在线事务处理的新型分布式数据库系统。它既具备传统单机数据库的绝大部分功能,又提供了分布式计算集群才拥有的高可用、高扩展、高性能、高吞吐量和对用户透明等高级特性。
    一个完整的 DMDPC 架构由计划生成节点 SP、数据存储节点 BP 和元数据服务器节点MP 三部分组成。SP 对外提供分布式数据库服务,用户可以登录到任意一个 SP 节点,获得完整的数据库服务;BP 负责存储数据,执行 SP 的调度指令并将执行结果返回给 SP;MP 负责存储元数据并向 SP、BP 提供元数据服务。

(二)、安装部署DCP集群
    DPC部署流程总结下来总的分为5个步骤
image.png
2.1、DMDPC系统架构规划
    规划达梦DPC分布式数据库共11个节点,其中5个BP节点,1个节点单独部署主元数据,副本存储在其他节点上,形成交叉存储。
image.png
image.png
2.2、环境修改、安装数据库软件
2.2.1、创建组和用户
groupadd dinstall
useradd -g dinstall -m -d /home/dmdba -s /bin/bash dmdba
echo “Dameng123” | passwd --stdin dmdba

2.2.2、修改limits.conf配置文件参数
vim /etc/security/limits.conf
dmdba soft nice 0
dmdba hard nice 0
dmdba soft as unlimited
dmdba hard as unlimited
dmdba soft fsize unlimited
dmdba hard fsize unlimited
dmdba soft nproc 65536
dmdba hard nproc 65536
dmdba soft nofile 65536
dmdba hard nofile 65536
dmdba soft core unlimited
dmdba hard core unlimited
dmdba soft data unlimited
dmdba hard data unlimited
2.2.3、关闭selinux
cat /etc/selinux/config
SELINUX=disabled
2.2.4、关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
2.2.5、关闭swap
备注:swap的关闭需要视情况而定,内存充裕(较大)关闭,内存太小不关闭。
临时修改
–临地关闭swap分区,重启后失效
[root@~]# swapoff -a
永久修改
–永久关闭swap分区
[root@~]# sed -ri ‘s/.swap./#&/’ /etc/fstab
–重启操作系统
[root@~]# reboot
–再次确认
[root@~]# free –m

2.2.6、关闭NUMA
–编辑grub文件,如下图所示加上:numa=off
[root@~]# vi /etc/default/grub
GRUB_CMDLINE_LINUX=“crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet numa=off”
重新生成/etc/grub2.cfg 配置文件:
[root@~]# grub2-mkconfig -o /etc/grub2.cfg
重启操作系统
[root@~]# reboot
–重启之后进行确认
[root@~]# dmesg | grep -i numa
2.2.7、禁用透明大页
#查看cat /sys/kernel/mm/transparent_hugepage/enabled
[never] madvise always
[]中的值为never时表示禁用

#修改配置文件
vi /etc/default/grub
GRUB_CMDLINE_LINUX=“rd.lvm.lv=rhel/swap rd.lvm.lv=rhel/root rhgb quiet transparent_hugepage=never”

#执行生效命令grub2-mkconfig -o /boot/grub2/grub.cfg

#重启reboot

#查看grep AnonHugePages /proc/meminfo显示为0表示关闭

2.2.8、调整sysctl.conf参数
vi /etc/sysctl.conf
vm.swappiness = 0
kernel.core_pattern=/data/corefile/core-%e-%p kernel.core_uses_pid=0
sysctl -p /etc/sysctl.conf

su - dmdba
mkdir /data/corefile

2.2.9、调整system.conf参数
参数文件介绍:
system.conf为系统和服务管理的配置文件,当运行系统实例时,systemd将读取这个配置文件system.conf,相反读取user.conf。这些配置文件获得一些设置基本管理控制的操作。
达梦数据库服务注册为系统服务的进程,如通过systemctl或者service方式设定随机自启动的数据库服务,其能打开的最大文件描述符、proc数量等不受limits.conf控制,需要修改/etc/systemd/system.conf文件才有效果。

调整项介绍:
1)DefaultLimitNOFILE:用户默认最大打开文件数
2)DefaultLimitNPROC:用户默认最大进程数

操作命令:
编辑配置文件/etc/systemd/system.conf
[root@dm~]# vi /etc/systemd/system.conf

添加配置:
DefaultLimitNOFILE=65536
DefaultLimitNPROC=10240
2.2.10、调整login
简介:
limits.conf文件实际是Linux PAM(插入式认证模块),突破系统的默认限制,对系统访问资源有一定保护作用,当用户访问服务器时,服务程序将请求发送到PAM模块,PAM模块根据服务名称在/etc/pam.d目录下选择一个对应的服务文件,然后根据服务文件的内容选择具体的PAM模块进行处理
limits.conf 和sysctl.conf区别在于limits.conf是针对用户,而sysctl.conf是针对整个系统参数配置。

修改操作系统参数命令:
[root@~]# vi /etc/pam.d/login
session required /lib64/security/pam_limits.so
session required pam_limits.so
2.3、部署DEM
DM企业管理器的英文全称DM Enterprise Manager,简称DEM。
DEM 提供一个通过 WEB 界面来监控、管理、维护达梦数据库的集中式管理平台,可以从任何可以访问 WEB 应用的位置通过 DEM 来对达梦数据库进行各种管理 和监控。同时DEM是部署及管理DPC的重要工具,使用DEM部署DPC分部署数据库提高了部署效率,同时可视化管理提高了数据库管理的便捷性。
2.3.1、安装DEM内置库
正常安装一套单机库作为DEM内置,安装步骤不再赘述
2.3.2、安装jdk和tomcat
使用yum命令安装JDK

yum -y list java

yum install java-1.8.0-openjdk.x86_64

部署tomcat用dmdba用户,因为开启自启要使用dmdba用户

tomcat官网下载,下载地址:https://tomcat.apache.org/,并解压安装到/home/dmdba
tar -zxvf apache-tomcat-8.5.78.tar.gz -C /home/dmdba
mv /home/dmdba/apache-tomcat-8.5.78 /home/dmdba/tomcat

将dmdbms/web目录下的dem.war包,放到/home/dmdba/tomcat/webapps/目录下面
cp /home/dmdba/dmdbms/web/dem.war /home/dmdba/tomcat/webapps/
2.3.3、修改tomcat端口号为非默认端口号
vim /home/dmdba/tomcat/conf/server.xml

<Connector port=“28080” protocol=“HTTP/1.1”
connectionTimeout=“20000”
redirectPort=“8443” />
2.3.4、启动tomcat
mkdir /home/dmdba/tomcat/logs
cd /home/dmdba/tomcat/bin
./startup.sh

http://IP:28080/
image.png

2.3.5、修改配置文件
#修改db.xml
我们的dem.war包已经放在/home/dmdba/tomcat/webapps目录下了,然后刚刚由于tomcat的启动,我们的dem.war被自动解压成了一个目录dem,我们进入这个目录,修改其中/WEB-INF/db.xml文件,配置后台数据库的连接信息,ip、port、用户名、密码、连接池大小,SSL登录信息等
cd /home/dmdba/tomcat/webapps/dem/WEB-INF
vim db.xml
image.png

#修改server.xml
在/home/dmdba/tomcat/conf/server.xml中 <Connector port=“18080” protocol=“HTTP/1.1”…追加属性字段 maxPostSize="-1"
maxPostSize参数的意思是使post内容大小不限制
vim /home/dmdba/tomcat/conf/server.xml

2.4、在主机上启动代理
2.4.1、安装dmagent
在每一台主机上安装dmagent,并进行配置

2.4.2、配置agent.ini
在需要安装部署的机器上添加代理,所以配置agent.ini也是在对应的主机上配置即可,要求agent和dem所运行主机时间一致;
vim /home/dmdba/dmdbms/tool/dmagent/agent.ini
配置dmagent目录下的agent.ini:
center.url=http://XX.XX.XX.237:28080/dem #DEM访问地址
gather_enable=true #开启收集监控数据功能,默认打开
service_enable=true #开启远程调用功能,部署时需要打开

2.4.3、核对dmagent和DEM所运行机器时间
一般要求dmagent和DEM所运行机器时间一致,最多不要相差5分钟。因为5分钟为dmagent消息的有效时间,即DEM收到dmagent的消息时,如果收到的dmagent发送的消息的时间与DEM运行机器当前时间相差5分钟,则认为该消息无效,不处理该消息。
主机失效时间mf_valid_time(单位:秒)即在主机失效时间内没有收到dmagent发送的信息,则认为主机失效。
若要dmagent可用,须保证DEM可以收到dmagent的消息,并且dmagent本身不是失效状态(失效状态即为 DEM 主机管理页面显示连接失败状态),因此dmagent与DEM所运行机器时间的差值取5分钟和主机失效时间的最小值,但建议dmagent与DEM所运行机器时间同步。

2.4.4、启动dmagent
cd /home/dmdba/dmdbms/tool/dmagent
安装:./service.sh install --只能用root用户安装
运行:./service.sh start --此种启动方式只能用root用户启动
或者
systemctl start DmAgentService.service
或者使用dmdba用户执行
[dmdba@localhost ~]$ /home/dmdba/dmdbms/tool/dmagent/service/DmAgentService
Stopping dmagent. SUCCESS!
[dmdba@localhost ~]$ /home/dmdba/dmdbms/tool/dmagent/service/DmAgentService start

2.4.5、配置dmagent内外网信息
http://XX.XX.XX.XX:28080/dem/
用户名:admin
密码:xxxxxx
登录DEM选择监控和告警模块的“主机”,打开主机面板,找到自己部署的dmagent,在最右侧“操作”栏,打开下拉列表,选择“配置网络”,打开配置网络对话框,配置内网IP和外
网IP信息。其中,一般DEM访问dmagent用外网,dmagent之间或dmagent所在机器的数据库之间通讯用内网。

2.4.6、修改jvm启动参数
修改bin目录下的catalina.sh文件,在文件末尾加一行代码:
vim /home/dmdba/tomcat/bin/catalina.sh
JAVA_OPTS="-server -Xms256m -Xmx1024m -XX:MaxPermSize=512m -Djava.library.path=/home/dmdba/dmdbms/bin"

2.4.7、使用DEM
点击“资源监控”,最后点击“主机”,就可以看到启动了dmagent的主机了,它们正在被dem监控着!
如果看到有个红色感叹号,没有关系,一般是因为内网没配置,点击“更多”,再点击“配置网络”,配置下即可。

2.5、部署DPC、配置及优化
DPC集群的部署,前期规划好后,后面的部署全通过DEM来进行,DPC共规划11个节点,其中BP节点10个,1个节点单独部署在MP。
image.png
实例名后缀 A B C,假设其RAFT_VOTE_INTERVAL 依次为7s,13s,21s,则可实现A B C 依次优先被选举为主机。
2.5.1、使用dem部署DPC
【部署】->【添加集群搭建】->【集群搭建名称】->【选择集群类型分布式】

image.png
image.png
2.5.2、实例规划
image.png
(二)、
更多内容,请访问达梦社区地址:https//:eco.dameng.com

评论
后发表回复

作者

文章

阅读量

获赞

扫一扫
联系客服