数据源对象表示 DMETL 在进行数据读取或写入时,需要连接的外部数据存储。DMETL 支持的数据源类型有:数据库、WebService、MongoDB、Elasticsearch、Restful、键值缓存、Hadoop 数据源、Kafka、Hbase 数据源、Redis、文件源、Spark、Neo4j、GDM 等。
在本示例中,选择 DM8 数据库下的 HOTEL 模式下的表。以下介绍数据源的创建及数据集的添加。
创建 DM8-HOTEL_Management 数据源
在 DMETL 首页,用户可点击【设计】下的【数据源】按钮,进入数据源管理页面,选中【数据库】,右键选择【新建数据库数据源】,弹出新建数据库数据源对话框,如下图所示,完成数据库数据源的创建。
添加表(PERSON_INFO 等)
展开【数据库】节点,选中 DM8-HOTEL_Management,右键选择【添加表】,弹出添加表对话框,如下图所示,完成表的添加。
为 PERSON_INFO 添加影子表增量
依次展开默认 →HOTEL→tables,选中 PERSON_INFO,右键选择【添加影子表增量】,如下图所示,完成影子表增量1的添加。
影子表增量的运行机制,是以源表为基础,创建一张影子表和一张影子增量表,通过比较源表与影子表的差异,将发生在源表的插入、删除、更新等 DML 操作以增量数据的形式记录在影子增量表中,再通过解析增量数据,将上述 DML 操作同步到目的表中,从而实现增量数据同步功能。 ↩