项目架构分享 —— 离线数仓

项目背景

为了满足不断变化的业务需求，实现系统的高度扩展性、灵活性以及数据展现的高性能。

为什么要做离线数仓

为了整合数据和集中存储；

为了批量处理与历史分析；

为了支持决策和优化成本；

为了弥补实时数仓的短板；

用到的架构理论

分层理论

分布式处理核心理论

数据建模与存储格式理论

数据治理理论

用到的数仓理论

数据仓库概念

1991 年 Bill Inmon （比尔 · 恩门）出版了他的第一本关于数据仓库的书《 Building the Data Warehouse 》，标志着数据仓库概念的确立。书中指出，数据仓库 (Data Warehouse) 是一个面向主题的 (Subject Oriented) 、集成的 (Integrated) 、相对稳定的