安装
调度器安装
在现实中,许多主机尤其是一些运行 Unix 操作系统的主机上通常在没有图形化界面下进行操作,为了使达梦数据交换平台能够在这些主机上顺利运行,也可以直接在英文字符界面下,采用命令行方式的安装脚本进行安装,其过程与图形化的安装步骤一致,在终端中进入到安装程序所在的文件夹中,执行以下语句开始安装,并按提示进行操作。
./dmetl_scheduler.bin –i
按照要求选择语言,默认为中文,本地安装选择【简体中文】。
选择 DMETL 的 key,试用版本的包选择【1.免费试用达梦数据交换平台】。
DMETL 试用版会自动生成试用 key,以下显示的试用 key 对应的信息。
选择安装调度器的类型,选择【1.标准版】。
配置 DMETL 的 jdk,选择【1.使用软件 jdk 】。
指定 DMETL 调度器安装的路径,输入以下路径作为安装路径。
/opt/program/dmetl5
选择使用的数据库类型,默认为内置数据库,选择【2.使用外置数据库】。
DMETL 可供选择的外置数据库的类型,默认为 DM7,本安装选择默认的【1.DM7】。
配置数据库相关的信息,指定【数据库IP】、【数据库端口】、【数据库名称】、【用户名】、【使用默认连接信息】、【密码】和【初始化元数据库】。
控制器相关配置,不配置则为默认值。
选择控制器启动方式默认为手动,本安装选择【2.手动】。
选择调度器的启动方式为【2.手动】,安装完成后,可以通过日志查看更多信息。
管理器安装
在现实中,许多主机尤其是一些运行 Unix 操作系统的主机上通常在没有图形化界面下进行操作,为了使达梦数据交换平台能够在这些主机上顺利运行,也可以直接在英文字符界面下,采用命令行方式的安装脚本进行安装,其过程与图形化的安装步骤一致,在终端中进入到安装程序所在的文件夹中,执行 ./dmetl_manager.bin –i 运行程序,并按提示进行操作,如下图所示:
按照要求选择语言,默认为中文,本地安装选择【简体中文】。
指定 jdk ,本安装选择【1.使用软件 jdk 】。
指定 DMETL 管理器安装的路径,输入以下路径作为安装路径。
/opt/program/dmetl5
选择使用的数据库类型,默认为内置数据库,选择【2.使用外置数据库】。
选择数据库类型,默认为 dm ,本配置选择【1.dm】。
配置数据库相关的信息,指定【数据库 IP 】、【数据库端口】、【数据库名称】、【用户名】、【使用默认连接信息】和【密码】。
管理器服务的端口号和名称的配置,如果不配则为默认的【Dmetl5ManagerService】和【8080】。
选择管理器的启动方式为【2.手动】,安装完成后,可以通过日志查看更多信息。
原生执行器安装
在现实中,许多主机尤其是一些运行 Unix 操作系统的主机上通常在没有图形化界面下进行操作,为了使达梦数据交换平台能够在这些主机上顺利运行,也可以直接在英文字符界面下,采用命令行方式的安装脚本进行安装,其过程与图形化的安装步骤一致,在终端中进入到安装程序所在的文件夹中,执行 ./dmetl_native_executor.bin –i 运行程序,并按提示进行操作,如下图所示:
按照要求选择语言,默认为中文,本地安装选择【简体中文】。
选择安装执行器的类型,选择【1.标准版】。
指定 jdk ,本安装选择【1.使用软件 jdk 】。
指定 DMETL 原生执行器安装的路径,输入以下路径作为安装路径。
/opt/program/native_exector
控制器相关配置,不配置则为默认值。
选择控制器启动方式默认为手动,本安装选择【2.手动】。
原生执行器相关配置,如果不指定则为默认值,本安装全部使用默认值。
选择执行器的启动方式为【2.手动】,安装完成后,可以通过日志查看更多信息,试用版本的用户名和密码都为 admin。
配置
控制器配置
在 DMETL 安装文件夹的 controller 目录下有个 controller.ini 文件,这是控制器的配置文件。其中的配置项说明见下表:
配置项名称 | 说明 |
---|---|
CONTROLLER_NAME | 控制器名称,必须唯一,由安装程序生成 |
SERVICE_NAME | 控制器系统服务名,一般由安装程序修改 |
MANAGER_URL | 控制器启动时需要向管理器注册,需要填写管理器地址 |
LISTENER_ADDRESS | 监听地址,多网卡或者多ip的情况下指定监听器需要绑定的ip,localhost或者空表示绑定到所有地址,多个地址以逗号分隔 |
INTERNAL_SYSTEM_USER_PWD | 内部系统用户密码,用于系统内部通信,一般不建议修改 |
LISTENER_PORT | 监听端口,自动生成,一般不需要修改 |
SERVICE_ID | 服务ID,唯一标识一个etl服务实例, 系统自动维护,用户一般无需修改 |
管理器配置
在 DMETL 安装文件夹的 manager 目录下有个 manager.ini 文件,这是管理器的配置文件。其中的配置项说明见下表:
配置项名称 | 说明 |
---|---|
JDBC_DRIVER | JDBC的driver |
JDBC_URL | JDBC的url |
JDBC_USER | JDBC的user |
JDBC_PASSWORD | JDBC的password |
initialSize | 连接池初始连接数,默认0 |
maxActive | 连接池最大连接数,默认20 |
maxIdle | 连接池最大空闲数,默认20 |
minIdle | 连接池最小空闲数,默认1 |
maxWait | 连接池最长等待时间,默认60000 |
mapperLocations | 当需要切换不同的元数据库类型时,此处需要配置相应的mapperLocations的位置 |
ENABLE_VERSION | 是否启用版本管理,0表示不启用,1表示启用 |
SESSION_TIME_OUT | Session到期时间,默认30分钟 |
SOCKETIO_PORT | socketIO端口,默认9092,用于socketIO的通信 |
INTERNAL_SYSTEM_USER_PWD | 内部系统用户密码,用于系统内部通信,一般不建议修改 |
调度器配置
在 DMETL 安装文件夹的 scheduler 目录下有个 scheduler.ini 文件,这是调度器的配置文件。其中的配置项说明见下表:
配置项名称 | 说明 |
---|---|
SCHEDULER_NAME | 调度器名称,一般由安装程序生成 |
CONTROLLER_NAME | 调度器所属的控制器名称,一般由安装程序生成 |
MANAGER_URL | 调度器启动时需要向管理器注册,需要填写管理器地址 |
SERVICE_NAME | 调度器系统服务名,一般由安装程序修改 |
SCHEDULER_LISTENER_HOST | 调度器监听地址 |
SCHEDULER_LISTENER_PORT | 调度器监听端口 |
METADATA_TYPE | 元数据库的类型,可配置的类型包括Derby;DM6;DM7;DM8; Oracle8;Oracle9;Oracle10; |
Oracle11;Oracle12;SQLServer2000;SQLServer2005;SQLServer2008;MySQL3;MySQL4;MySQL5;MySQL6; | |
JDBC_DRIVER | JDBC的driver |
JDBC_URL | JDBC的url |
JDBC_USER | JDBC的user |
JDBC_PASSWORD | JDBC的password |
START_SCHEDULER_ENGINE | 是否自动启动调度器引擎,0表示非自动启动,1表示自动启动 |
INTERNAL_SYSTEM_USER_PWD | 内部系统用户密码,用于系统内部通信,一般不建议修改 |
SERVICE_ID | 服务ID,唯一标识一个etl服务实例, 系统自动维护,用户一般无需修改 |
原生执行器配置
在 DMETL 安装文件夹的 executor_native 目录下有个 native-executor.ini 文件,这是原生执行器的配置文件。其中的配置项说明见下表:
配置项名称 | 说明 |
---|---|
EXECUTOR_NAME | 原生执行器名称,一般由安装程序生成 |
CONTROLLER_NAME | 原生执行器所属的控制器名称,一般由安装程序生成 |
SERVICE_NAME | 原生执行器系统服务名,一般由安装程序修改 |
SCHEDULER_LISTENER_HOST | 调度器监听地址 |
SCHEDULER_LISTENER_PORT | 调度器监听端口 |
LISTENER_ADDRESS | 原生执行器监听地址,多网卡或者多ip的情况下指定监听器需要绑定的ip,localhost或者空表示绑定到所有地址,多个地址以逗号分隔 |
LISTENER_PORT | 监听端口,自动生成 |
CACHE_DIR | 磁盘缓存目录,支持使用以下系统属性:* user.home - 用户主目录 * user.dir - 当前工作目录* java.io.tmpdir - 系统临时目录 |
INTERNAL_SYSTEM_USER_PWD | 内部系统用户密码,用于系统内部通信,一般不建议修改 |
SERVICE_ID | 服务ID,唯一标识一个etl服务实例, 系统自动维护,用户一般无需修改 |
ENGINE_WORKER_COUNT | 最大并发运行流程数 |
启动与停止
控制器启动与停止
控制器可以通过命令行的形式或者以系统服务的形式两种方式来启动和停止控制器。
在 Linux 环境下,controller 目录下一些批处理文件功能介绍如下:
- controller_start.sh:以命令行的方式启动控制器;
- controller_stop.sh:通知控制器停止执行;
- install_controller_service.sh:安装控制器系统服务;
- uninstall_controller_service.sh:卸载控制器系统服务;
- controller_service_start.sh:启动控制器操作系统服务;
- controller_service_stop.sh:停止控制器操作系统服务;
- controller_service_restart.sh:重启控制器操作系统服务。
- 命令行形式启动控制器
在 Linux 平台下进入达梦数据交换平台的安装目录,执行 controller 目录下的 controller_start.sh 脚本文件,以命令行的方式启动控制器,当出现 “Register controller success” 日志信息时说明控制器已经向管理器成功注册,否则控制器将不停地向管理器注册信息。
- 服务形式启动控制器
用户在系统服务中找到控制器相应的服务即可以服务的形式启动、停止或重启控制器服务。也可以进入达梦数据交换平台安装目录,在 controller 目录下执行对应的脚本文件来管理控制器服务。
管理器启动与停止
管理器可以通过命令行的形式或者以系统服务的形式两种方式来启动和停止管理器。
在 Linux 环境下,manager 目录下一些批处理文件功能介绍如下:
- manager_start.sh:以命令行的方式启动管理器;
- manager_stop.sh:通知管理器停止执行;
- install_manager_service.sh:安装管理器操作系统服务;
- uninstall_manager_service.sh:卸载管理器操作系统服务;
- manager_service_start.sh:启动管理器操作系统服务;
- manager_service_stop.sh:停止管理器操作系统服务;
- manager_service_restart.sh:重启管理器操作系统服务。
- 命令行形式启动管理器
在 Linux 平台下进入达梦数据交换平台的安装目录,执行 manager 目录下的 manager_start.sh 脚本文件,以命令行的方式启动管理器,以8080端口为例,如果启动后能够打开 http://localhost:8080/dmetl-manager
,说明管理器启动成功。
- 服务形式启动管理器
用户在系统服务中找到管理器相应的服务即可以服务的形式启动、停止或重启管理器服务。也可以进入达梦数据交换平台安装目录,在 manager 目录下执行对应的脚本文件来管理管理器服务。
调度器启动与停止
调度器可以通过命令行的形式或者以系统服务的形式两种方式来启动和停止调度器。
在 Linux 环境下,scheduler 目录下一些批处理文件功能介绍如下:
- scheduler_start.sh:以命令行的方式启动调度器;
- scheduler_stop.sh:通知调度器停止执行;
- install_scheduler_service.sh:安装调度器系统服务;
- uninstall_scheduler_service.sh:卸载调度器系统服务;
- scheduler_service_start.sh:启动调度器操作系统服务;
- scheduler_service_stop.sh:停止调度器操作系统服务;
- scheduler_service_restart.sh:重启调度器操作系统服务。
- 命令行形式启动调度器
在 Linux 平台下进入达梦数据交换平台的安装目录,执行 scheduler 目录下的 scheduler_start.sh 脚本文件,以命令行的方式启动调度器,当出现 “Metadata engine started” 日志信息时说明调度器启动成功,当出现 “Register scheduler success” 日志信息时说明调度器已经向数据库成功注册信息,当出现 “Notify manager success” 时,说明调度器已经成功通知管理器更新缓存节点缓存信息,否则调度器将不断的尝试通知管理器。
- 服务形式启动调度器
用户在系统服务中找到调度器相应的服务即可以服务的形式启动、停止或重启调度器服务。也可以进入达梦数据交换平台安装目录,在 scheduler 目录下执行对应的脚本文件来管理调度器服务。
原生执行器启动与停止
原生执行器可以通过命令行的形式或者以系统服务的形式两种方式来启动和停止原生执行器,与其他服务不同,原生执行器通过 osgi 的方式启动服务。
在 Linux 环境下,executor_native 目录下一些批处理文件功能介绍如下:
- executor_native_start.sh:以命令行的方式启动原生执行器;
- executor_native_stop.sh:通知原生执行器停止执行;
- install_executor_native_service.sh:安装原生执行器操作系统服务;
- uninstall_executor_native_service.sh:卸载原生执行器操作系统服务;
- executor_native_service_start.sh:启动原生执行器操作系统服务;
- executor_native_service_stop.sh:停止原生执行器操作系统服务;
- executor_native_service_restart.sh:重启原生执行器操作系统服务。
- 命令行形式启动原生执行器
在 Linux 平台下进入达梦数据交换平台的安装目录,执行 executor_native 目录下的 executor_native_start.sh 脚本文件,以命令行的方式启动原生执行器,当出现各个相应的 bundle 启动信息时说明原生执行器启动成功,当出现 “Register executor success” 日志信息时说明原生执行器已经成功向数据库注册信息。
- 服务形式启动原生执行器
用户在系统服务中找到原生执行器相应的服务即可以服务的形式启动、停止或重启原生执行器服务。也可以进入达梦数据交换平台安装目录,在 executor_native 目录下执行对应的脚本文件来管理原生执行器服务。
内存参数配置与修改
控制器内存配置参数修改
当运行 controller_start.sh 启动控制器时,可以修改 controller_start.sh 中的内存参数,如下表所示:
参数名称 | 参数说明 |
---|---|
-XX:MetaspaceSize | Metaspace扩容时触发FullGC的初始化阈值 |
-XX:MaxMetaspaceSize | Metaspace区域的最大值 |
-Xms | JVM初始分配的内存大小 |
-Xmx | JVM最大分配的内存大小 |
当以服务的方式启动控制器时,需要修改 controller_service.conf 中的配置参数,如下表所示:
参数名称 | 参数说明 |
---|---|
-XX:MetaspaceSize | Metaspace扩容时触发FullGC的初始化阈值 |
-XX:MaxMetaspaceSize | Metaspace区域的最大值 |
wrapper.java.initmemory | JVM初始分配的内存大小 |
wrapper.java.maxmemory | JVM最大分配的内存大小 |
管理器内存配置参数修改
当运行 manager_start.sh 启动管理器时,可以修改 manager_start.sh 中的内存参数,如下表所示:
参数名称 | 参数说明 |
---|---|
-XX:MetaspaceSize | Metaspace扩容时触发FullGC的初始化阈值 |
-XX:MaxMetaspaceSize | Metaspace区域的最大值 |
-Xms | JVM初始分配的内存大小 |
-Xmx | JVM最大分配的内存大小 |
-XX:MaxGCPauseMillis | 最大垃圾收集停顿时间,它的值是一个大于0的整数,单位为毫秒(ms) |
当以服务的方式启动管理器时,需要修改 manager_service.conf 中的配置参数,如下表所示:
参数名称 | 参数说明 |
---|---|
-XX:MetaspaceSize | Metaspace扩容时触发FullGC的初始化阈值 |
-XX:MaxMetaspaceSize | Metaspace区域的最大值 |
wrapper.java.initmemory | JVM初始分配的内存大小 |
wrapper.java.maxmemory | JVM最大分配的内存大小 |
-XX:MaxGCPauseMillis | 最大垃圾收集停顿时间,它的值是一个大于0的整数,单位为毫秒(ms) |
调度器内存配置参数修改
当运行 scheduler_start.sh 时,可以修改 scheduler_start.sh 中的内存参数,如下表所示:
参数名称 | 参数说明 |
---|---|
-XX:MetaspaceSize | Metaspace扩容时触发FullGC的初始化阈值 |
-XX:MaxMetaspaceSize | Metaspace区域的最大值 |
-Xms | JVM初始分配的内存大小 |
-Xmx | JVM最大分配的内存大小 |
-XX:MaxGCPauseMillis | 最大垃圾收集停顿时间,它的值是一个大于0的整数,单位为毫秒(ms) |
当以服务的方式启动调度器时,需要修改 scheduler_service.conf 中的配置参数,如下表所示:
参数名称 | 参数说明 |
---|---|
-XX:MetaspaceSize | Metaspace扩容时触发FullGC的初始化阈值 |
-XX:MaxMetaspaceSize | Metaspace区域的最大值 |
wrapper.java.initmemory | JVM初始分配的内存大小 |
wrapper.java.maxmemory | JVM最大分配的内存大小 |
-XX:MaxGCPauseMillis | 最大垃圾收集停顿时间,它的值是一个大于0的整数,单位为毫秒(ms) |
原生执行器内存配置参数修改
当运行 executor_native_start.sh 启动原生执行器时,可以修改 executor_native_start.sh 中的内存参数,如下表所示:
参数名称 | 参数说明 |
---|---|
-XX:MetaspaceSize | Metaspace扩容时触发FullGC的初始化阈值 |
-XX:MaxMetaspaceSize | Metaspace区域的最大值 |
-Xms | JVM初始分配的内存大小 |
-Xmx | JVM最大分配的内存大小 |
-XX:MaxGCPauseMillis | 最大垃圾收集停顿时间,它的值是一个大于0的整数,单位为毫秒(ms) |
当以服务的方式启动原生执行器时,需要修改 executor_native_service.conf 中的配置参数,如下表所示:
参数名称 | 参数说明 |
---|---|
-XX:MetaspaceSize | Metaspace扩容时触发FullGC的初始化阈值 |
-XX:MaxMetaspaceSize | Metaspace区域的最大值 |
wrapper.java.initmemory | JVM初始分配的内存大小 |
wrapper.java.maxmemory | JVM最大分配的内存大小 |
-XX:MaxGCPauseMillis | 最大垃圾收集停顿时间,它的值是一个大于0的整数,单位为毫秒(ms) |