注册
使用达梦作为Apache ranger元数据库
专栏/培训园地/ 文章详情 /

使用达梦作为Apache ranger元数据库

请叫我滚去上班 2025/02/13 140 0 0
摘要

1、背景
Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。
Apache Ranger支持的数据库为Db2、mysql、PostgreSQL、oracle。达梦与oracle有高度兼容性,因此可采用oracle方式进行使用达梦数据库,即在初始化前将oracle驱动、URL更换为达梦数据库信息且对初始化SQL语句进行部分调整(调整内容详见2.6),比如oracle建表空间指定大小时带有单位(如 128M),在达梦执行的语句不需要带单位(如128)。
本篇文章描述使用达梦作为apache ranger元数据库的部署过程。

1.1下载
安装包下载地址:https://ranger.apache.org/
Maven下载地址
https://repo.huaweicloud.com/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

1.2配置环境变量
#启动元数据服务
#配置环境变量
vi /etc/profile
export MAVEN_HOME=/opt/module/apache-maven-3.6.3
export PATH=$PATH:$MAVEN_HOME/bin

1.3配置Maven国内源
#配置文件为Maven安装路径conf下的settings.xml

huaweicloud
*
https://repo.huaweicloud.com/repository/maven/

1.4解压并编译apache ranger
#下载好的安装包上传到服务器后进行解压
tar -zxvf apache-maven-3.6.3-bin.tar.gz -C /opt/module/
#修改源码,路径为:org/apache/util/sql/Jisql.java,将驱动路径改成达梦数据库驱动路径:“dm.jdbc.driver.DmDriver”
image.png
#编译,不同版本编译命令不一样,根据版本进行选择
#以下是1.2.0版本编译
mvn clean compile package assembly:assembly install -DskipTests -Drat.skip=true
#以下是2.1.0版本编译
mvn clean package -DskipTests
#编译完成后会在target目录下生成相应的jar包,拷贝ranger-1.2.0-admin.tar.gz并进行解压

1.5创建ranger用户
#在达梦数据库上创建ranger用户
create tablespace RANGER datafile 'RANGER.dbf' size 128 autoextend on;
create USER RANGERADMIN IDENTIFIED BY "RANGERADMIN" default tablespace "RANGER" default index tablespace "RANGER";
grant dba to RANGERADMIN;

1.6apache ranger配置
1.6.1修改配置文件install.properties
#修改以下内容
PYTHON_COMMAND_INVOKER=python
#指明使用数据库类型,使用oracle类型
DB_FLAVOR=ORACLE
SQL_CONNECTOR_JAR=/satassd/range/DmJdbcDriver18.jar #数据库连接驱动
#指定数据库root用户链接信息
db_root_user=sysdba
db_root_password=sysdba
db_host=192.168.3.213:4036
指定Ranger数据库名称及用户信息
db_name=RANGER
db_user=RANGERADMIN
db_password=RANGERADMIN
#策略管理配置,配置ip和端口,默认即可
policymgr_external_url=http:/192.168.3.213:6080

1.6.2修改启动脚本setup.sh
#修改URL
jdbc:dm://${DB_HOST}
image.png
#注释密码修改
image.png

1.6.3修改dba初设化脚本 dba_script.py
#修改URL
jdbc:dm://%s" %(self.host)
image.png

1.6.4修改数据库初设化脚本
具体文件如下,修改为达梦数据库的SQL
db/oracle/optimized/current/ranger_core_db_oracle.sql
db/oracle/patches/009-updated_schema.sql
db/oracle/patches/013-permissionmodel.sql
db/oracle/patches/016-updated-schema-for-tag-based-policy.sql
db/oracle/patches/019-create-indexes.sql
db/oracle/patches/020-datamask-policy.sql
db/oracle/patches/022-split-service-table.sql

1.7初始化setup.sh
#执行以下命令
./setup.sh
image.png

1.8修改web启动配置ranger-admin-site.xml
#修改以下框出内容
dm.jdbc.driver.DmDriver
jdbc:dm://192.168.3.213:port
image.png

1.9启动web服务器并登录验证
#进入ews路径,执行以下命令进行启动
./ranger-admin-services.sh start
image.png
#浏览器打开登录页面:192.168.3.213:6080

image.png
#使用默认用户密码登录:admin admin
image.png

评论
后发表回复

作者

文章

阅读量

获赞

扫一扫
联系客服