执行xhost +，再将dmdba和root用户的$DISPLAY值设置为一致试试。
实在不行，命令行安装参考：https://eco.dameng.com/document/dm/zh-cn/start/dm-install-linux.html

您是远程连接过去的么，当前系统和环境支持图形化吗

按照以下步骤配置：
1：root用户执行：
export DISPLAY=:0
xhost +
echo $DISLPAY --有输出结果，例如为:0.0
2:切换为dmdba用户执行：
su - dmdba
export DISPLAY=:0.0 --值为上一步输出结果
3:dmdba用户执行：
./DMInstall -i --一定要加-i
配置完基本上能解决

当前环境不支持图形化的话，需要调用第三方的图形化工具。或者使用命令行安装

如果使用xshell直接连接机器请检查/etc/ssh/ssh_config
ForwardX11 是否为yes
如果为no 修改为yes
执行systemctl restart sshd重启sshd服务
重新开启xshell连接 同时注意不要切用户