本文介绍了如何使用阿里云MaxCompute和DataWorks构建大数据技术架构，包括数据引入层（ODS）、数据公共层（CDM）和数据应用层（ADS）。数据仓库分层有助于数据管理和分析，确保数据一致性。ODS层负责原始数据存储，CDM层进行数据加工和整合，建立维度表和事实表，ADS层则提供个性化统计指标。遵循层次调用规范，如ADS层优先调用CDM层数据，避免直接引用ODS层。
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。
完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
数仓分层
我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。
数据仓库的分层和各层级用途如下图所示。
- 数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构
最低0.47元/天 解锁文章
扫一扫
1926
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
