本文档主要介绍如何使用 DM8 快速装载工具进行 DM 数据库中表数据的快速载入和载出。
1.1 功能简介
DM 提供了两种形式的快速装载工具:一是 dmfldr;二是 dmldrc 和 dmldrp。用户通过使用快速装载工具能够把按照一定格式排序的文本数据以简单、快速、高效的方式载入到 DM 数据库中,或把 DM 数据库中的数据按照一定格式载出到文本文件中。
两种形式的工具,功能完全一样,区别是应用场景不同。在软硬件资源充裕的情景下,首选 dmfldr 工具,dmfldr 在一台机器上启动即可,独立完成快速装载任务,简单高效。在机器资源匮乏的极端情景下,需选择 dmldrc 和 dmldrp 工具,分别部署在两台机器上,各自占用较少的机器资源,相互配合共同完成快速装载任务,可克服机器资源不足的问题。
其中,表及表的同义词支持数据载入和载出,视图及视图的同义词仅支持数据载出。
1.2 系统结构
1.2.1 dmfldr 结构
dmfldr(DM Fast Loader)包含 dmfldr 客户端和 dmfldr 模块两部分。dmfldr 客户端实现初始化快速装载环境、读取数据、打包数据和发送数据功能。dmfldr 功能模块嵌入在数据库服务器中,实现装载功能。两者相互协作,共同完成 dmfldr 的各项功能。
dmfldr 的系统结构如图 1.1 所示。
当进行数据载入时,dmfldr 客户端接收用户提交的命令与参数,分析控制文件与数据文件,将数据打包发送给服务器端的 dmfldr 模块,由 dmfldr 模块完成数据的真正装载工作。并分析服务器返回的消息,必要时根据用户参数指定生成日志文件与错误数据文件。
当进行数据载出时,dmfldr 客户端接收用户提交的命令与参数,分析控制文件,将用户要求转换成相应消息发送给服务器端的 dmfldr 模块。dmfldr 模块解析并打包需要导出的数据,发送给 dmfldr 客户端,客户端将数据写入指定的数据文件,必要时根据用户参数指定生成日志文件。
1.2.2 dmldrc 和 dmldrp 结构
快速装载工具所在机器的软硬件资源匮乏会影响快速装载的性能。为了应对这种极端情况,DM 提供了一种轻量型的快速装载工具套装:dmldrc 和 dmldrp。dmldrc 为轻量级快速装载工具的客户端,负责初始化快速装载环境和数据处理功能;dmldrp 为轻量级快速装载工具的服务器,负责任务处理和任务发送功能。两者相互配合完成和 dmfldr 客户端一样的功能。dmldrc 和 dmldrp 可部署在不同的机器上。将快速装载工具的任务分配到两个独立的工具上,并部署在不同的机器上,可减轻机器的软硬件压力。
其它模块和 dmfldr 工具中的模块功能一样。
dmldrc 和 dmldrp 工具套装的系统结构如图 1.2 所示。