数仓整体架构体会

数仓整体架构体会

1.数据仓库的stg阶段的数据来源于日志采集和离线数据采集。
对离线数据开发，包括数据开发平台和任务调度系统，数据开发平台对数据进行计算和整理，任务调度系统对作业进行调度，调度方式包括时间触发、依赖触发和时间+依赖出发。
作业的状态有成功、准备中和等待（附任务未完成）。
2.在odm层、idm层和sdm层建立数据模型，对数据进行开发。
数据模型是指数据组织和存储方法，强调从业务、数据存取、使用角度来合理存储数据。
建立数据模型的方法包括维度建模和三范式建模，根据不同的需求建立选择不同的模型。
3.元数据，又称中介数据、中继数据，为描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据可以帮助数据仓库管理员和开发人员快速找到他们所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。