数据仓库ETL
关注
分享
扫一扫
香草天空Sky
坚持今天要做的事，希望和成功或许就在明天
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
数据仓库自动化，可视化建设
概述在数据仓库建设中，特别是在多个开发人员的过程中，经常会遇到以下问题：是不是可以建一个数据仓库平台，把开发流程、规范、标准进行统一管理，基于元数据驱动的自动化、可视化的平台。平台架构主要包括系统管理、业务总线管理、维度模型管理、作业管理、应用管理、元数据管理、数据标准管理等模块。系统管理：这个模块主要管理各个系统的信息包括源系统信息、数据仓库系统、作业调度系统、报表系...转载 2019-06-27 05:53:41 · 1259 阅读 · 0 评论 -
数据仓库(一)之需求篇
概述业务需求定义了企业的业务人员为了完成其工作，进而实现企业目标，一定要具备的东西。包括功能性需求和提供的服务。它是数据仓库的核心，从广度和深度上做好需求调研为数据仓库建设建立良好的开端。需求分类需求调研步骤1.确定调研...转载 2019-06-27 05:53:56 · 582 阅读 · 0 评论 -
数据仓库(三)之架构篇
概述架构是数据仓库建设的总体规划，从整体视角描述了解决方案的高层模型，描述了各个子系统的功能以及关系，描述了数据从源系统到决策系统的数据流程。业务需求回答了要做什么，架构就是回答怎么做的问题。架构的价值数据仓库架构数据仓库的核心功能从源系统抽取数据，通过清洗、转换、标准化，...转载 2019-06-27 10:18:02 · 347 阅读 · 0 评论 -
数据仓库(二)之维度建模篇
概述维度建模是一种将数据结构化的逻辑设计方法，它将客观世界划分为度量和上下文。度量是常常是以数值形式出现，事实周围有上下文包围着，这种上下文被直观地分成独立的逻辑块，称之为维度。它与实体-关系建模有很大的区别，实体-关系建模是面向应用，遵循第三范式，以消除数据冗余为目标的设计技术。维度建模是面向分析，为了提高查询性能可以增加数据冗余，反规范化的设计技术。维度建模优点...转载 2019-06-27 10:15:20 · 418 阅读 · 0 评论 -
数据仓库(四)之ETL开发
概述ETL是数据仓库的后台，主要包含抽取、清洗、规范化、提交四个步骤，传统数据仓库一般分为四层模型。分层的作用STG层在维度建模阶段已经确定了源系统，而且对源系统进行了数据评估...转载 2019-06-27 10:36:03 · 739 阅读 · 0 评论 -
数据仓库(五)元数据管理
概述元数据通常定义为”关于数据的数据”,在数据仓库中是定义和描述DW/BI系统的结构，操作和内容的所有信息。元数据贯穿了数据仓库的整个生命周期，使用元数据驱动数据仓库的开发，使数据仓库自动化，可视化。元数据类型1.业务元数据业务元数据指从业务角度描述业务领域相关的概...转载 2019-06-27 10:37:14 · 357 阅读 · 1 评论 -
数据仓库(六)之数据质量篇
概述数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能够在不同对象之间和跨越不同时间进行比较。数据质量管理是通过计划、实施和控制活动，运用质量管理技术度量、评估、改进和保证数据的恰当使用。数据质量维度...转载 2019-06-27 10:42:03 · 598 阅读 · 1 评论