Hadoop初探（二）

一、Hadoop的源起

DougCutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎

早期发布在个人网站和SourceForge，2001年年底成为apache软件基金会jakarta的一个子项目

Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中

实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎

对于大数量的场景，Lucene面对与Google同样的困难。迫使DougCutting学习和模仿Google解决这些问题的办法

一个微缩版：Nutch

2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础DougCutting等人用了2年业余时间实现了DFS和Mapreduce机制，使Nutch性能飙升

Yahoo招安DougCutting及其项目

Hadoop 于 2005 年秋天作为 Lucene的子项目 Nutch的 一部分正式引入Apache基金会。2006 年 3 月份，Map-Reduce和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中

 名字来源于Doug Cutting儿子的玩具大象

二、Hadoop子项目

每个子项都用动物来做logo。

Core：一组分布式文件系统和通用I/O的组件与接口（序列化、javaRPC和持久化数据结构）

Avro:一种支持高校、跨语言的RPC以及永久存储数据的序列化系统

MapReduce：分布式数据处理模型和执行环境，运行于大型商用机集群。

HDFS：分布式文件系统

Pig：轻量级语言。用户和mapreduce之间的转换器。运行于MapReduce和HDFS的集群上

Hive：sql语言到mapreduce之间的映射器，面向数据库工程师。关系型数据库，不能支持全部sql。提供基于SQL的查询语言（由运行时引擎翻译成MapReduce作业）用以查询数据。

HBase：No sql数据库，分布式、列数据库。面向数据分析。提高响应速度，减少IO量。

Zoo Keeper:负责服务器节点和进程之间的通讯，通讯的协调工具。

ChuKwa：数据集成工具

三、Hadoop架构

Hadoop集群有两类节点，并以管理者-工作者模式运行，即一个namenode(管理者)和多个datanode（工作者）

Namenode：管理文件系统的命名空间

 HDFS的守护程序

记录文件是如何分割成数据块的，以及这些数据块被存储到哪些节点上

 对内存和I/O进行集中管理

 是个单点，发生故障将使集群崩溃

DataNode：文件系统的工作节点

 每台从服务器都运行一个

 负责把HDFS数据块读写到本地文件系统

Secondary Namenode

监控HDFS状态的辅助后台程序

每个集群都有一个

与NameNode进行通讯，定期保存HDFS元数据快照

当NameNode故障可以作为备用NameNode使用

JobTracker

 用于处理作业（用户提交代码）的后台程序

 决定有哪些文件参与处理，然后切割task并分配节点

 监控task，重启失败的task（于不同的节点）

 每个集群只有唯一一个JobTracker，位于Master节点

TaskTracker

 位于slave节点上，与datanode结合（代码与数据一起的原则）

 管理各自节点上的task（由jobtracker分配）

 每个节点只有一个tasktracker，但一个tasktracker可以启动多个JVM，用于并行执行map或reduce任务

 与jobtracker交互

Master与Slave

Master：Namenode、Secondary Namenode、Jobtracker。浏览器（用于观看 管理界面），其它Hadoop工具

Slave：Tasktracker、Datanode

Master不是唯一的

四、Hadoop处理大数据的意义

Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务发送(Map)到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里。