Hadoop、Mapreduce、Spark概念

ref: Hadoop基础知识 Spark基础知识1
https://blog.youkuaiyun.com/lbyyy/article/details/53334019
https://blog.youkuaiyun.com/leanaoo/article/details/83153889
mapreduce工作流程
Spark基础知识详解
Spark常考面试题

背景

目前按照大数据处理类型来分大致可以分为：批量数据处理、交互式数据查询、实时数据流处理，这三种数据处理方式对应的业务场景也都不一样；
Hadoop的核心为HDFS与MapReduce，HDFS分布式文件系统在Hadoop中是用来存储数据的；MapReduce为Hadoop处理数据的核心
可以这么说Hadoop适用于Map、Reduce存在的任何场景，具体场景比如：WordCount、排序、PageRank、用户行为分析、数据统计等，而这些场景都算是批量数据处理，而Hadoop并不适用于交互式数据查询、实时数据流处理.

Hadoop简介

Hadoop是一个高可靠的(reliable)，规模可扩展的(scalable)，分布式(distributed computing)的开源软件框架。它使我们能用一种简单的编程模型来处理存储于集群上的大数据集。

hadoop包含的模块：

• Hadoop common：提供一些通用的功能支持其他hadoop模块。
• Hadoop Distributed File System：即分布式文件系统，简称HDFS。主要用来做数据存储ÿ