骑毛驴的关羽

一、什么是 ETL      ETLETL是数据抽取（EXTRACT）、转换（TRANSFORM）、加载（LOAD ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到 数据仓库中。简而言之ETL是完成从 OLTP系统到OLAP系统的过程（图一：PIC1.JPG）。二、数据仓库的架构     数据仓库（DATA WAREHOUSE \ DW...

一个小的etl调度，需要将存储过程执行情况进行返回并控制其后续依赖是否执行，本人只是将调用执行存储过程的shell脚本中存储过程输出参数返回，并没有写具体的控制程给大家，如果在这个思路上继续进行开发，那就是一个小的etl调度程序。 下面将各个脚本进行说明：（ex_produre.sh）1.执行存储过程脚本#!/bin/bashuser_name=$1user_pass=$2pro...

 【转载】用 IBM WebSphere DataStage 进行数据整合：第 1 部分原文地址：http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0602zhoudp/数据整合的核心内容是从数据源中抽取数据，然后对这些数据进行转化，最终加载的目标数据库或者数据仓库中去，这也就是我们通常所说的 E...

 【转载】用 IBM WebSphere DataStage 进行数据整合：第 2 部分原文地址：http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0604zhoudp/ 在本文中，您将看到一个同时处理多个数据源和目标的 ETL Job 的开发过程，并了解 DataStage 中 Contai...

 【转载】用 IBM WebSphere DataStage 进行数据整合：第 3 部分: 实时数据整合原文地址：http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0611zhoudp/index.html 本系列的第 1 部分和第 2 部分详细介绍了如何利用 DataStage 开发 ETL...

1. What is a logical data mapping and what does it mean to the ETL team? 什么是逻辑数据映射？它对ETL项目组的作用是什么？ 答： 逻辑数据映射（Logical Data Map）用来描述源系统的数据定义、目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档，通常以表格或Excel的格式保存...

ETL学习心得：探求数据仓库关键环节ETL的本质        做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆 一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量，使用access、DTS或是自己编个小程 序搞定。可是在数据仓库系统中，ETL上升到了一定的理论高度，和原来小打小闹的工具...

 ETL中缓慢变化维度的处理方式 缓慢变化维处理系统（Slowly Changing Dimension Processor，SCD）主要功能是处理维度表的属性随时间变化的情况，处理方式为：类型1（直接覆盖），类型2（生成新行），类型3（添加新列）。 迟到维度处理系统（Late Arriving Dimension Handler）主要功能是当维度数据的变化情况到达数据...