在通过星环大数据平台运行的spark作业操作主备大梦库时,总是报连接达梦数据库出错,造成大数据任务执行失败。
经排查,使用的达梦数据库是主备模式,在主备模式的达梦库中,有一个dm_svc.conf配置文件,用来配置主备节点信息,同时这个文件提供一个服务名,在外部服务通过jdbc访问达梦数据库时,替换ip。
主备模式的达梦数据库在spark 程序通过jdbc连接的时候,必须要去指定目录下读取dm_svc.conf文件,默认是yarn nodemanage节点的/etc 目录下。但是把dm_svc.conf文件放到yarn nodemanage节点的/etc目录之后,任务执行还是报连接达梦库异常。这是因为,星环大数据平台(TDH)是容器化部署,把配置文件放到物理机的/etc 目录下,容器里的服务是没法读到的,所以报错。
解决问题的思路是,把dm_svc.conf文件,放到容器pod的目录下,并且在配置数据源信息的时候,在url中指定该文件。
达梦主备模式dm_scv.conf文件内容
文章
阅读量
获赞