近10年数据仓库演进之路，以及数据库学习建议

数据仓库

是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

从数据角度，数据仓库更适合传统的数据库，离线采集，数据一般为结构化的，每天处理数据量不易超过TB集，数据仓库一般在数十T到几百T以内，数据仓库一般为满足内生的应用，满足内部决策支持分析需求。缺点就是海量数据存储计算存在瓶颈，无法支撑非结构化数据、实时数据计算；硬件设备成本也过高。

数据仓库的架构

从整体上来看，数据仓库体系架构可分为：数据采集层、数据计算层、数据服务层和数据应用层

数据采集层

数据采集层的任务就是把数据从各种数据源中采集和存储到数据库上，期间有可能会做一些 ETL（即抽取、转换、装载）操作。其中，日志所占份额最大，存储在备份服务器上的业务数据库中，如 Mysql 中的数据。其他数据的话，如 Excel 等需要手工录入的数据。

实时采集不是一条一条采集，而是根据一些限制条件，一般是数据大小限制（如 512KB 写一批）、时间阈值限制（如 30 秒写一批）。采集的数据需要数据采集系统分发给下游，一般选取 Flume、Sqoop 等。

数据处理层

从数据采集系统出来的数据，分发给下游的数据处理平台，一般有 Hive、MapRedu