离线数仓（一）认识数据仓库

最新推荐文章于 2024-11-11 13:33:22 发布

原创

最新推荐文章于 2024-11-11 13:33:22 发布 · 1.9k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #数据结构

本文详细介绍了数据仓库、数据库、数据中心、数据平台、数据湖、数据中台等概念，强调了它们在数据管理和分析中的角色。数据仓库作为企业决策支持的关键，经历了从传统到基于大数据的演变，包括BillInmon和RalphKimball两种建模理论。随着技术发展，数据仓库在数据化运营、广告投放、用户画像等领域发挥重要作用，同时在互联网行业中，基于大数据的数仓建设更注重灵活性和实时性。

1.数据管理中心

1.1.数据库

引用百度百科的解释：数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。

数据库是长期储存在计算机内、有组织的、可共享的数据集合。
数据库中的数据指的是以一定的数据模型组织、描述和储存在一起。
具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。

1.2.数据仓库

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

数据仓库之父比尔·恩门（BillInmon）在1991年出版的“BuildingtheDataWarehouse”（《建立数据仓库》）一书中所提出的定义被广泛接受--数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策(DecisionMakingSupport)。

表现在：

面向主题：在较高层次上将企业信息系统的数据综合归并进行分析利用的抽象的概念。每个主题基本上对应一个相应的分析领域。
集成的：企业级数据，同时数据要保持一致性、完整性、有效性、精确性
稳定的：从某个时间段来看是保持不变的，没有更新操作、删除操作，以查询分析为主
反应历史变化

1.3.数据库和数据仓库对比

功能	数据仓库	数据库
数据范围	存储历史的、完整的、反应历史变化的数据	当前状态的数据
数据变化	可添加、无删除、无变更的、反应历史变化	支持频繁的增、删、改、查操作
应用场景	面向分析、支持战略决策	面向业务交易流程
设计理论	不遵守范式、适当冗余	遵照范式、避免冗余
处理量	非频繁、批量大、高吞吐、有延迟	频繁、批量小、高并发、低延迟