数据仓库流程&架构（一）

数据仓库流程&架构（一）

定义

数据仓库是逻辑上的概念，是一个数据集合。

数据仓库中的数据有这两个特点:
- 最全的历史数据（海量）；
- 相对稳定的：不同于业务系统数据库，数据经常会被更新。数据一旦进入数 据仓库，很少会被更新和删除，只会被大量查询。

数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。

流程

数据仓库的基本流程主要是数据流入流出的过程。可分为四个主要步骤。

####数据源采集
此过程的目的是将数据从不同数据源采集并存储下来。接入的大部分是未做处理的明细数据。数据源多种多样，要针对不同的数据源采取不同的采集方式。有时候可做简单清洗和过滤。常见的数据源有：业务日志、关系型数据库（如Mysql）、上游直接提供的HTTP/FTP/文本……

    关于业务日志采集这里多说一句，常用的方式是使用Flume实时抽取业务机器的数据到Kafka机器，再通过Flume将Kafka数据抽取到HDFS。那么问题来了，为什么不直接通过Flume