大数据基础知识集合

一、大数据的基本概念

大数据，指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。简单说就是将大量的数据通过类比和分类，分为众多较小型数据，将各个小型数据集合并后进行分析便可得出许多额外的信息和数据关系性，以此用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定即时交通路况等。

二、数据仓库

数据仓库，是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化、（Time Variant）的数据集合，用于支持管理决策。

特点：

1、面向主题

　　操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。

2、集成的

　　数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

3、相对稳定的

　　数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。

4、反映历史变化

　　数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

三、数据处理的方式

当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP