ETL 是 Extract(抽取)、Transform(转换)、Load(装载) 三个环节的统称,指把数据从多个数据源采集、加工成目标系统(数据仓库、业务库)可用格式的过程,是数据集成和数据仓库建设的核心步骤。
简单说:把散落各处的数据,搬到一起,洗干净,按统一口径入库。
真实业务中,销售相关数据分散在不同业务系统,存储规范不一样。例如:
要形成一张可供报表分析的销售汇总宽表,就需要通过ETL完成数据整合。
| 环节 | 要解决的问题 | 销售订单整合中的例子 |
|---|---|---|
| 抽取 Extract | 从哪里读取,读哪些数据 | 读取订单表、商品信息表、经销商渠道表 |
| 转换 Transform | 怎样把源数据变成业务需要的数据 | 通过商品ID关联商品名称,把订单状态编码 0/1/2 转为“待付款/已发货/已完成”,统一时间格式、剔除无效测试订单 |
| 装载 Load | 写到哪里,怎样处理已有记录 | 写入销售分析汇总表,按订单编号判断新增或者更新已有订单记录 |
从各个源业务系统读取需要的数据,需要确定抽取方式(全量 / 增量),同时控制对源业务库的压力。
销售场景示例:每日凌晨定时抽取前一天新增、变更的订单、商品、渠道数据。
对原始数据清洗、标准化、关联计算,是ETL最复杂的环节,常见操作:
YYYY-MM-DD HH24:MI:SS销售例子:源订单只有商品ID和状态编码,经过转换后,补上商品名称、品类,状态翻译成中文,方便报表阅读。
将处理完成的干净数据写入目标分析表。
ETL 的核心流程就是抽取、转换、装载。销售订单整合是很典型的分析类ETL场景,用于支撑经营报表、销量统计、渠道分析等业务。在企业数仓建设中,大量报表底层都依赖ETL提前完成数据汇聚和清洗。
[dmdba@localhost ~]$/home/dmdba/dm/dmetl5/standalone/standalone_service_start.sh
文章
阅读量
获赞
