Stannis的博客

一、数据仓库体系架构图二、在Oracle数据库中创建三个用户用户代表数据仓库层级bi_oltpoltpbi_odsodsbi_edwedw创建用户bi_oltpcreate user bi_oltp identified by bi_oltp default tablespace users temporary tablespace temp profile default account unlock;grant connect to bi_olt

七、创建作业job1、新建作业2、选择START【通用】–》【START】3、选择转换【通用】–》【转换】4、成功【通用】–》【成功】5、开始结束

六、数据增量更新问题1、方式一：脚本执行SQL脚本表输入：表输出结果2、裁剪表表输出设置【剪裁表】结果：3、插入/更新结论： 当数据源变化时，重新抽取后，目标也变过来了4、同步更新表输入：表输入2：排序记录：按照主键进行排序合并记录：  需要注意新旧数据源，该实例中，【表输入2】为旧数据源，【表输入】为新数据源数据同步结果：只插入了新增的两条数据5、时间戳方式更新（大数据量）清除目标表之前数据选择前一天的数据结果

五、在kettle中进行行转列原始数据图示**注意：**转换工具用的是【列转行】Excel输入排序记录列转行表输出结果：

ETL讲解ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(Operational Data Store，操作型数据存储)