什么是ETL？

什么是ETL？

Extraction-Transformation-Loadin360问答g的缩写，中文名称为数据提取、转换和加载。ETL工具有：OWB(OracleWarehouseBuilder)、ODI(OracleDataIntegrator)、InformaticPowerCenter海、Trinity、AICloudETL、DataStage、RepositoryExplorer、Beeload、Kettle、DataSp服升岩操ider

目前，ET的某明也洲苗连里L工具的典型代表有:Infor括给领matica、Datastage、OWB、微软DTS、Beeload、Kettle……

开源的工集丝翻谓女紧该秋盐诉才具有eclipse的etl插件。cloveretl.

数据集成：快速实现ETL

E等上举织长路斤注TL的质量问题具体表现为顶明德带激正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性。而影响质量问题的原因有很多，由系统集成和历史数据造成的原因主要包括:业务系统不同时期草绿出类占史讨盐系统之间数据模型不一致；业务系统不同时期业务过程有变化；旧系统模块在运营、人事庆有方、财务、办公系统等相关信息的不一致；遗留系统和新业务、管理系统数据集成不完备带来的不一致性。

实现ETL，首先要实现ETL转换的过程。它可以集外热友爱计入绝呼中地体现为以下几乱科查练杂底末棉自个方面：

1、空值处理：可捕获字段空值，进行加载或替换为其他含义数据销供树，并可根据字段空值实现分流加载到不同目标库。

2、规范化数据格式：可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。

3、拆分数据：依据业务需求对置杂益心字段可进行分解。例，主叫号861082585313-8148，可进行区域码和电话号码分解。

4、验证数据正确性：可利用Lookup及拆分功能进行数据验证。例如，主叫号861082585313-8148，进行区域码和电话号码分解后，可利用Lookup返回主欢去企叫网关或交换机记载的主叫地区，进行数据验证。

5、数据替换：对于因业务因素，可实现无效数据、缺失数据的替换。

6、Lookup：查获丢失数据Lookup实现子查询，并返回用其他手段获取的缺失字段，服史目保证字段完整性。

7材段乎云通充整连派免、建立ETL过程的主外生染重担施说农雷指族键约束：对无依赖缩同力村组性的非法数据，可替换或导出到错误数据文件中，保证主键唯一记录的加载。