注册
主备模式达梦库被星环大数据平台上运行spark作业读写问题总结
专栏/培训园地/ 文章详情 /

主备模式达梦库被星环大数据平台上运行spark作业读写问题总结

好先森 2024/10/31 395 0 0
摘要

一、问题背景:

​ 在通过星环大数据平台运行的spark作业操作主备大梦库时,总是报连接达梦数据库出错,造成大数据任务执行失败。

二、问题原因分析:

​ 经排查,使用的达梦数据库是主备模式,在主备模式的达梦库中,有一个dm_svc.conf配置文件,用来配置主备节点信息,同时这个文件提供一个服务名,在外部服务通过jdbc访问达梦数据库时,替换ip。
主备模式的达梦数据库在spark 程序通过jdbc连接的时候,必须要去指定目录下读取dm_svc.conf文件,默认是yarn nodemanage节点的/etc 目录下。但是把dm_svc.conf文件放到yarn nodemanage节点的/etc目录之后,任务执行还是报连接达梦库异常。这是因为,星环大数据平台(TDH)是容器化部署,把配置文件放到物理机的/etc 目录下,容器里的服务是没法读到的,所以报错。

三、问题解决

解决问题的思路是,把dm_svc.conf文件,放到容器pod的目录下,并且在配置数据源信息的时候,在url中指定该文件。

1. 查找yarn nodemange服务容器id

查看容器服务列表.jpg

2、复制配置文件到容器中

复制文件到容器中.jpg

3、查看文件是否复制成功

进入容器查看文件.png

4、配置url地址

数据源信息  副本.jpg

四、附录

达梦主备模式dm_scv.conf文件内容
svc文件.png

评论
后发表回复

作者

文章

阅读量

获赞

扫一扫
联系客服