大数据Hadoop技术的发展历史与未来前景

大数据概念火了又火，但是好多人对大数据的概念却一知半解，今天主要来细说下Hadoop：

1.Hadoop是什么

1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构

2）主要解决，海量数据的存储和海量数据的分析问题。

3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈

2.Hadoop发展历史

1）Lucene–DougCutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎

2）2001年年底成为apache基金会的一个子项目

3）对于大数量的场景，Lucene面对与Google同样的困难

4）学习和模仿Google解决这些问题的办法：微型版Nutch

5）可以说Google是hadoop的思想之源(Google在大数据方面的三篇论文)

GFS—>HDFS

Map-Reduce—>MR

BigTable—>Hbase

6）2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础DougCutting等人用了2年业余时间实现了DFS和Mapreduce机制，使Nutch性能飙升

7）2005年Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年3月份，Map-Reduce和NutchDistributedFileSystem(NDFS)分别被纳入称为Hadoop的项目中

8）名字来源于DougCutting儿子的玩具大象

9）Hadoop就此诞生并迅速发展，标志这云计算时代来临

3.Hadoop的优势

1）高可靠性—因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理

2）高扩展性—在集群间分配任务数据，可方便的扩展数以千计的节点

3）高效性—在Map