Informatica-Powercenter VS IBM-DataStage 主流ETL工具选型

1.ETL介绍 

ETL (Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，约占整个项目的60%～80%，这是国内外从众多实践中得到的普遍共识。

ETL工具从厂商来分为两种,一种是数据库厂商自带的ETL工具,Oracle warehouse builder 就是这种,另外一种是第三方工具提供商.开源世界也有一大票的ETL工具,功能各异,强弱不一,你可以从一下地址找到开源ETL工具的列表 http://www.manageability.org/blog/stuff/open-source-etl/view  , 提醒一句,选用工具的时候要慎重,真的,千万要慎重,不管你是选用商业的ETL工具(一般比较贵),还是开源的工具,都要在你充分了解产品的特性才去选择,千万不要听某某人说什么这个工具好,就购买了那个工具,一定要自己了解产品.

2.注意

开源的东西你可以免费得到和使用,但是当你想应用到企业级开发的时候,省钱可不是唯一应该考虑的因素.还是那句话,慎重呀慎重.

开源的ETL工具的列表 (排名是乱排的)
kettle  http://kettle.pentaho.org/  ,pentaho官方的ETL工具,是一个metadata-driven 的ETL工具,不需要自己写code .
talend,
jasperETL,
Octopus ,
CloverETL ,
KETL ,
Joost,
Xineo,
BabelDoc,
CB2XML ,
mec-eagle,
Transmorpher ,
XPipe,
DataSift ,
Xephyrus Flume  ,
Smallx    ,
Nux ,
Netflux ,
OpenDigger  ,
ServingXML    ,
Scriptella   ,
ETL Integrator  ,
Jitterbit   ,
Apatar   ,
Spring Batch

3.BI市场份额

根据talend官方介绍的数据,ETL工具的市场份额在2006大约是有160多亿美元.由于BI项目的成功,ETL的这一市场份额还会扩大。

4.两款非开源ETL工具对比

一个最基本的区别：

     Informatic：把Metadata全部放在数据库中(可以是Oracle,DB2,SQL Server或者任何其它的数据库)、

     Datastage：是自己管理Metadata，不依赖任何数据库.

对比项	Informatica PowerCenter	IBM Datastage
产品完整性对比	?  数据整合部分：PowerCenter，是业界公认领导者 ?  数据质量管理：Data Quality，成熟稳定技术，在中国有大规模应用的成功案例。 ?  实时数据捕获：PowerExchange，业界领先实时采集技术，支持广泛数据源的CDC和Realtime，与PowerCenter无缝集成。 ?  元数据管理：Metadata Manager，是业界领先的企业级元数据管理平台，可做到字段级的元数据各项分析，有广泛的元数据采集接口，图形化无需编程，并可自动维护变更。	?  数据整合部分：Datastage，属于业界一类产品 ?  数据质量管理：QualityStage，收购的技术，不是主要其主要产品组成 ?  实时数据捕获：MQ和DataMirror的技术，技术复杂，与DataStage是不同风格产品，产品的耦合度极差。