
ETL
文章平均质量分 67
Cormier-an
且行且思
展开
-
ETL----从源数据到数据仓库的逻辑数据映射
逻辑数据映射的组成 逻辑数据映射(见下图 )通常用一个表或者电子表格格式来表示,它包括以下特定的组成部分: 目标表名称:数据仓库中出现的物理表名称;目标列名称:数据仓库表中的列名称; 表类型:表示这个表是事实表,维表或者子维表(支节) SCD(缓慢变化维)类型:对维表,这个部分表示是类型1,类型2或者类型3的缓慢变化维。这个指标对维表中的不同的列可以是不同的。原创 2013-10-07 15:00:28 · 6610 阅读 · 0 评论 -
ETL----源业务系统数据库跟踪报告
一旦源系统被确定,就要说明这些系统的意义以及谁对他们负责。下图就是为这个目的建立的图表。这个图表,也就是源系统跟踪报告,使得我们不用总是麻烦系统管理员或者业务管理者。如果走运的话,数据建模工程师将开始制作这个列表。不管谁定的初稿,这个列表的维护应该是ETL小组和数据建模小组共同努力来完成。如果在分析过程中认为一个源系统不适合作为数据仓库的源,保留它在这个列表中,并说明不使用它的原因;可能在后续阶段原创 2013-10-07 15:26:13 · 1512 阅读 · 0 评论 -
ETL----数据表规模估算表
规模估算表中列出了集结区中每张表的如下信息: 表名称。在集结区中的表或者文件的名字。在计算表中每个集结表都占用一行。 更新策略。这个字段表明表的维护方式。如果是一个永久表,可能的策略为追加数据、更新或删除。如果是临时集结表,在每个过程中都会被删减和重新加载。 加载频率。ETL 过程对表中的数据以什么样的频率加载和更改。通常是每日一次。还可以为每周、每月或者任意的时间间原创 2013-10-06 17:45:48 · 1800 阅读 · 1 评论 -
ETL----如何决定是否采用ETL工具
ETL工具还是手工编码(购买工具集还是自己写程序?) 在《智能企业》杂志的一篇精彩的文章(2003.5.31,Ralph Kimball编辑)中,Gary Nissen对这个问题总结概括后,回答是:“看情况”。我们展开来分析一下Gary的观点。 基于ETL工具的优势 根据某个ETL工具厂商的说法:“一个有价值的工具目的不在于能够解决琐碎的问题,而是要原创 2013-10-06 16:15:09 · 2715 阅读 · 1 评论 -
SSIS----改进数据流的性能
可以配置数据流任务的下列属性,这些属性都会对性能产生影响:为缓冲区数据(BufferTempStoragePath 属性)和包含二进制大型对象 (BLOB) 数据的列(BLOBTempStoragePath 属性)指定临时存储位置。默认情况下,这些属性包含 TEMP 和 TMP 环境变量的值。您可能希望指定不同或更快的硬盘驱动器上的其他文件夹来存放临时文件,或将它们分布在多个驱动器转载 2013-10-28 16:30:15 · 12114 阅读 · 0 评论