
ETL
文章平均质量分 80
laszloyu
这个作者很懒,什么都没留下…
展开
-
ETL 学习之一
ETL有时候显得很神秘,其实大部分项目都有用到,只要有报表展示,就是一个ETL过程。 首先,我们来了解最基本的定义: 嗯,也有人将ETL简单称为数据抽取。至少在未学习之前,领导告诉我的是,你需要做一个数据抽取的工具。 其实呢,抽取是ETL中的关键环节,顾名思义,也就将数据从不同的数据源中抓取(复制)出来。 太简单了! 上面的解释无首无尾,有点象能让你吃饱的转载 2009-04-13 07:33:00 · 1352 阅读 · 1 评论 -
SSIS处理导入数据时, 存在的更新, 不存在的插入
问题描述:当你把数据从其他数据库,或者是文本文件之类的其他数据源导入到目的数据库时,有时希望在导入的处理中,能够实现"数据存在时更新,不存在时导入"在之前,一般是通过导入临时表,然后再判断处理导入正式表的,在SQL Server 2005中, SSIS可以在导入处理时直接完成这种处理. 下面具体演示一下如何用SSIS完成这样的处理:1. 准转载 2009-04-13 09:28:00 · 1430 阅读 · 2 评论 -
ETL学习之八:添加日志记录
Microsoft SQL Server 2005 Integration Services (SSIS) 包含日志记录功能,这些功能使您可以通过提供任务和容器事件跟踪来对包执行进行疑难排解和监控。日志记录功能非常灵活,可以在包级别或在包中的各个任务和容器上启用。可以选择要记录的事件,也可以对单个包创建多个日志。日志记录由日志提供程序提供。每个日志提供程序可以将日志记录信息写入不同的格式和目标转载 2009-04-13 09:26:00 · 1697 阅读 · 1 评论 -
ETL学习之七:SSIS添加包配置
包配置允许您从开发环境的外部设置运行时属性和变量。配置允许您开发灵活的并且易于部署和分发的包。Microsoft SQL Server 2005 Integration Services (SSIS) 提供了以下配置类型:XML 配置文件环境变量注册表项父包变量SQL Server 表在本课中,将修改在第 2 课:添加循环中创建的简单 Integration Ser转载 2009-04-13 09:22:00 · 1772 阅读 · 1 评论 -
ETL学习之六:在SSIS中使用循环
在第 1 课:创建简单 ETL 包中,创建了从单个平面文件源提取数据的包,然后使用查找转换功能对数据进行了转换,最后将数据加载到 AdventureWorksDW 示例数据库的 FactCurrency 事实数据表中。但是,提取、转换和加载 (ETL) 过程很少使用单个平面文件。典型的 ETL 过程从多个平面文件源提取数据。从多个源提取数据需要采用迭代控制流。Microsoft S转载 2009-04-13 09:03:00 · 2284 阅读 · 1 评论 -
ETL学习之五:创建新的 Integration Services 项目
在 Microsoft SQL Server 2005 Integration Services (SSIS) 中创建包的第一步就是创建一个 Integration Services 项目。此项目包含在数据转换解决方案中使用的数据源、数据源视图和包等对象的模板。创建新的 Integration Services 项目在“开始”菜单上,依次指向“所有程序”、“Microsoft SQ转载 2009-04-13 08:32:00 · 2470 阅读 · 1 评论 -
ETL学习之四:SQL Server Integration Services入门
ETL学习之四:SQL Server Integration Services入门 SSIS就是微软在SQL SERVER2005上对DTS的升级,不得不说,微软在BI上是花了很大功夫的,包括提供了SSIS,SSAS,SSRS等多个工具,从创建数据仓库,到从元数据抽取数据,到创建维度和挖掘结构,挖掘模型,训练,报表模型设计,报表设计,发布,非常方便和强大。先从ETL开转载 2009-04-13 08:10:00 · 2162 阅读 · 1 评论 -
ETL学习之三
对于MS SQL-Server的DTS,在使用MS SQL-Server2000时,有最基本的接触,但仅限时简单的数据导入/导出。当开始了解ETL时,才发现DTS原来就是ETL的应用之一。 先不谈论DTS的好坏,但它至少MS产品的特点,易学,易用。所以,要了解ETL的应用,从DTS开始,在我看来,是个不错的选择。我只是学习,所以我没有能耐去评价它,下面,只能讲DTS的功能一一列举出来转载 2009-04-13 07:48:00 · 1285 阅读 · 1 评论 -
ETL学习之二
ETL为数据仓库服务,数据仓库用于数据分析,数据分析属于BI系统的要干的事儿。 一般中/小型ERP系统都会有不成熟的BI系统,为啥叫做不成熟? 因为它们或者有报表分析功能,但不具有OLAP(在线分析),或者有OLAP,但却没有数据挖掘和深度分析。或者干脆,来个大集成,直接利用第三方工具来达到相应的目的。 为什么会这样,究其原因,很多情况是因为没有自主的数据仓库,没有转载 2009-04-13 07:36:00 · 1067 阅读 · 1 评论 -
如何从优化SQL入手提高数据仓库的ETL效率
1 引言 数据仓库建设中的ETL(Extract, Transform, Load)是数据抽取、转换和装载到模型的过程,整个过程基本是通过控制用SQL语句编写的存储过程和函数的方式来实现对数据的直接操作,SQL语句的效率将直接影响到数据仓库后台的性能。目前,国内的大中型企业基本都具有四年以上计算机信息系统应用经验,积累了大量可分析的业务数据,这些信息系统中的转载 2009-05-13 15:56:00 · 656 阅读 · 0 评论