ETL的基础知识，看完你就全明白了！(1)

触发器模式

触发器方式是普遍采取的一种增量抽取机制。该方式是根据抽取要求，在要被抽取的源表上建立插入、修改、删除3个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个增量日志表，ETL的增量抽取则是从增量日志表中而不是直接在源表中抽取数据，同时增量日志表中抽取过的数据要及时被标记或删除。

为了简单起见，增量日志表一般不存储增量数据的所有字段信息，而只是存储源表名称、更新的关键字值和更新操作类型(insert、update或delete)，ETL增量抽取进程首先根据源表名称和更新的关键字值，从源表中提取对应的完整记录，再根据更新操作类型，对目标表进行相应的处理。

CREATE OR REPLACE TRIGGER TRI_T_ETL_YB

BEFORE INSERT OR UPDATE OR DELETE ON T_ETL_YB

FOR EACH ROW

DECLARE

CZLX VARCHA2(1); – 定义操作类型

BEGIN

– 插入日志表（ID,操作时间，操作类型）

IF DELETING THEN INSERT INTO ETL_LOG(ID,CZSJ,CZLX) VALUES (:old.ID,sysdate,‘D’);

ELSE IF UPDATING THEN INSERT INTO ETL_LOG(ID,CZSJ,CZLX) VALUES (:old.ID,sysdate,‘U’);

ELSE IF INSERTING THEN INSERT INTO ETL_LOG(ID,CZSJ,CZLX) VALUES (:new.ID,sysdate,‘I’);

END IF;

END;

优点：

数据抽取的性能高，ETL 加载规则简单，速度快，不需要修改业务系统表结构，可以实现数据的递增加载。

缺点：

要求业务表建立触发器，对业务系统有一定的影响，容易对源数据库构成威胁。

增量字段

增量字段方式来捕获变化数据，原理就是在源系统业务表数据表中增加增量字段，增量字段可以是时间字段，同时也可以是自增长字段（如oracle的序列），设计要求就是源业务系统中数据新增