Hadoop简介

一、Hadoop是个啥

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

• 主要解决，海量数据的存储和海量数据的分析计算 问题。
• 广义上来说， Hadoop通常是指一个更广泛的概念 —— Hadoop 生态圈 。
• 狭义上来说，Hadoop就是单独指代Hadoop这个软件（HDFS+MAPREDUCE）

二、Hadoop发展历史

Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

2003年、2004年谷歌发表的三篇论文为该问题提供了可行的解决方案。

• 分布式文件系统（GFS），可用于处理海量网页的存储
• 分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。
• 分布式的结构化数据存储系统Bigtable，用来处理海量结构化数据。

Doug Cutting基于这三篇论文完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目(同年，cloudera公司成立)，迎来了它的快速发展期。