离线和实时大数据开发实战 笔记一

这本书也算是二刷了，推荐可以看看。对大数据整体有一定的了解。

1.OLTP(Online Transaction processing)和OLAP (Online Analytical Processing)

从命名上就可以看出轻微的区别，一个是事物型，一个是分析型。2.

2.数据建模，最近刚好在做这方面的工作。以我司为例，用的是维度建模。维度建模客观世界分为度量和上下文。度量简单的说就是一些需要聚合或者是直接可以用的数值 如订单金额、库存数量等等，维建模中称它为事实。事实由大量文本形式的上下文包围着，而且这些上下文常被直观地分割成为多个独立的逻辑块，维度建模称之为维，维描述了度量的5个W(When,Where,What,Who,Why)信息，比如什么时候下单，何种方式下单，买的什么，客户是谁等等。在星形架构中间是事实表，事实表周围的则是各个角度的维度表。

第二点则是总线体系架构。我的理解就是不同主题公用的相同维度来保障所处数据的口径一致。从图中可以看出，不同主题之间的联系就是维度。另一种就不介绍了有兴趣可以看看这部书了解一下BillInmon建模方法论。

数仓分层:以我司为例，分为lz(原业务库数据)，ods(初步合并数据)，dw(维度和事实)，rpt(报表层) 本书分层: