【大数据入门笔记系列】第一节 大数据常用组件

大数据释义

近些年来，坊间一直流传着这样的言论：“大数据时代，人人都在裸奔”。对于外行人来说，对于“大数据”这个词最直观的理解就是“大的数据集”，这样理解是没有错的，但对于行内人来说，这样的理解就太过苍白了。

• 大数据究竟指的是什么？
  答：大数据是指在一定时间内无法用常规软件工具对其内容进行抓取、管理和处理的数据集合。
• 适用于大数据的技术有哪些？
  答：1、数据挖掘；
          2、分布式文件系统；
          3、大规模并行处理（MPP）数据库；
          4、分布式数据库；
          5、云计算平台；
          6、互联网和可扩展的存储系统；

大数据组件

大数据的组件有很多，且随着时间的推移有些组件不再流行，我这里不能一一列举，只列举一些常见的组件：

• Hadoop：一种分布式系统基础架构包含Hdfs、MapReduce、Yarn三大组件；
• Hadoop-Hdfs：一种分布式文件系统，具有高容错、高伸缩的特点；
• Hadoop-MapReduce：一种分布式编程模型，是基于Yarn的大数据并行处理系统；
• Ha