种算法归纳总结，看完这些你就全明白了腾讯云开发者社区

摘要：ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

> 算法应用场景概览

以上共计累积了8种ETL算法，其中主要分成4大类，增量累加、拉链算法是更符合数据仓库历史数据追踪的算法，但现实中基于业务及性能考虑，往往存在全删全插、增量累全算法的数据表应用。

即Delete/Insert实现逻辑；

> 应用场景

主要应用在维表、参数表、主档表加载上，即适合源表是全量数据表，该数据表业务逻辑只需保存当前最新全量数据，不需跟踪过往历史信息。

> 算法实现逻辑

1.清空目标表；

2.源表全量插入；

> ETL代码原型.

即Upsert实现逻辑；

> 应用场景

主要应用在参数表、主档表加载上，即源表可以是增量或全量数据表，目标表始终最新最全记录。

> 算法实现逻辑

> ETL代码原型

即Append实现逻辑；

> 应用场景

主要应用在流水表加载上，即每日产生的流水、事件数据，追加到目标表中保留全历史数据。流水表、快照表、统计分析表等均是通过该逻辑实现。

> 算法实现逻辑

1.源表直接插入目标表；

> ETL代码原型

> 拉链表背景知识

 概念

拉链表是一张至少存在PK字段、跟踪变化的字段、开链日期、闭链日期组成的数据仓库ETL数据表；

 益处

根据开链、闭链日期可以快速提取对应日期有效数据；

对于跟踪源系统非事件流水类表数据，拉链算法发挥越大作用，源业务系统通常每日变化数据有限，通过拉链加工可以大大降低每日打快照带来的空间开销，且不损失数据变化历史；

 示例，提取指定日期有效数据

最终提取到数据：

> 应用场景

全历史拉链，跟踪源表全量变化历史，若源表记录不存在，则说明数据闭链；根据PK新拉一条有效记录。

> 算法实现逻辑

1.提取当前有效记录；

2.提取当日源系统最新数据；

3.根据PK字段比对当前有效记录与最新源表，更新目标表当前有效记录，进行闭链操作；

4.根据全字段比对最新源表与当前有效记录，插入目标表；

> ETL代码原型

> 应用场景

增量拉链，目的是追踪数据增量变化历史，根据PK比对新拉一条开链数据；

> 算法实现逻辑

1.提取上日开链数据；

> ETL代码原型

> 应用场景

主要是利用业务字段跟踪增量数据中包含删除的变化历史。

> 算法实现逻辑

1.提取上日开链数据；

2.提取源表非删除记录；

5.提取源表删除记录；

> ETL代码原型

> 应用场景

主要是利用业务字段跟踪全量数据中包含删除的变化历史。

> 算法实现逻辑

1.提取上日开链数据；

2.提取源表非删除记录；

5.提取源表删除记录；

> ETL代码原型

> 应用场景

主要将流水表数据转化成拉链表数据。

> 算法实现逻辑

借助源表业务日期字段，和目标表开链、闭链日期比对，首尾相接，拉出全历史拉链；

> ETL代码原型

1.根据数据仓库最佳实践，所有数据表通常还会包含一些控制字段，即插入日期、更新日期、更新源头字段，这样对于数据变化敏感的数据仓库，可以进一步追踪数据变化历史；