
数据仓库-维度建模
身为一名数仓工作人员。行走在数仓建设的前线。本专栏是在研读了维度建模权威指南后,记录自己在实际开发中的感悟与经验。有不对的地方欢迎留言指证
piepis
DT时代的一块砖
展开
-
数据建设-数仓分层
前言数据仓库是所有产品的数据中心,公司体系下的所有产品产生的所有数据最终都流向数据仓库,可以说数据仓库不产生数据,也不消费数据,只是数据的搬运工。注意: 本问讨论的数据公共层设计理念遵循维度建模思想数据仓库的作用存储数据校准数据整合数据输出数据基于以上几点,需要将数据分层次管理,每一层分工合作,对数据进行不同程度的处理,如同工厂里的流水线一般,从而确保数据的生命性、生态性。模型层次数据模型分为三层:操作数据层(ODS)公工维度模型层(CDM)应用数据层(ADS)模型层原创 2020-08-21 14:28:42 · 2239 阅读 · 1 评论 -
数仓建设-数据治理
很大的一个课题。要好好思考,多看点书与博文,总结下工作经验,再来写。目前在网上找到了两个这方面的博文,研读后很有感触,贴出来分享下。美团配送数据治理实践数据治理怎么做?...原创 2020-08-13 15:37:46 · 406 阅读 · 0 评论 -
事实表的基本概念
什么是事实表事实表的结构事实数据表是包含描述业务内特定事件的数据。是发生在现实世界中的操作型事件所产生的可度量数据,通常包含大量的行。日常查询请求的主要目标就是基于事实表展开计算和聚合操作。从最低粒度级别来看,事实表行对应一个度量事件,也可以说,一个度量事件必然对应一个最低粒度的事实行为。因此,事实表的设计完全依赖物理活动,不受可能产生的最终报表的影响。事实表一般会包含数字度量,也总会包含外键,用来与相关的维表做关联。常用的事实表经常会包含日期/时间戳,退化维度键(退化维度键的解释不再展开,想了解原创 2020-06-16 13:27:37 · 6122 阅读 · 0 评论 -
建模核心概念
大数据建设中选择数据模型的好处性能: 良好的数据模型能帮助我们快速查询所需要的数据,减少数据的I/O吞吐成本: 良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低大数据系统中的存储和计算成本。效率: 良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率。质量: 良好的数据模型能改善数据统计口径的不一致性,减少数据计算错误的可能性。OLTP与OLAP系统的区别OLTP系统(OnLine Transaction Processing): 通常面向的主要数据操原创 2020-06-15 12:26:54 · 710 阅读 · 1 评论