Hadoop学习分享----入门概要介绍

rainforc

墨衍会员 · AI 创作全网分发码龄17年

关注

原创最新推荐文章于 2026-04-15 10:16:33 发布 162 阅读 AI 写同款· GEO 优化 ›

一、什么是Hadoop?

基于2003年google发表Map/Reduce 和 Google File System(GFS)论文研发。
用java实现的HDFS（Hadoop分布式文件系统）+Map/Reduce（并行编程计算处理框架）。
对大量数据进行分布式处理的软件框架。

二、Hadoop的优势

1、高可靠性：

HDFS假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。MapReduce的任务监控保证了分布式处理的可靠性。

2、高效性：

Hadoop (M/R)是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。

3、高扩展性：

Hadoop可以扩展至数千个节点，对数据持续增长，数据量特别巨大的需求很合适。

4、低成本：

Hadoop是开源项目，而且不仅从软件上节约成本，硬件上的要求也不高。Hadoop生态群活跃，其周边开源项目丰富，HBase, Hive，Impala等等基础开源项目众多。

三、Hadoop的不足

1、不适合低延迟数据访问，不适合做实时数据分析。

2、无法高效存储大量小文件。

3、不支持多用户写入及任意修改文件。

四、Hadoop的两大核心子项目介绍

（一）、HDFS简介

提供一个高效可用的分布式文件系统,具体如下：

1、可以创建、删除、移动或重命名文件，等等。
2、采用多个备份，保证单节点出现故障是，数据不会丢失。
3、是一个抽象的文件系统，实际的文件数据是分布在多个节点上。

HDFS的结构：

<1>、NameNode和Secondary NameNode介绍

NameNode:

负责管理文件系统名称空间（Namespace）和控制外部客户机的访问。
维护文件系统树(filesystem tree)以及文件树中所有的文件和文件目录信息的元数据(metadata)。
是hadoop守护进程中最重要的一个，位于HDFS的主端，它跟踪文件如何被分割成文件块，而这些块又被哪些节点存储，以及分布式文件系统的整体运行状态是否正常。

Secondary NameNode:

是一个用来监控HDFS状态的辅助后台程序。就想NameNode一样，每个集群都有一个Secondary NameNode，并且部署在一个单独的服务器上。Secondary NameNode不同于NameNode，它不接受或者记录任何实时的数据变化，但是，它会与NameNode进行通信，以便定期地保存HDFS元数据的快照。由于NameNode是单点的，通过Secondary NameNode的快照功能，可以将NameNode的宕机时间和数据损失降低到最小。同时，如果NameNode发生问题，Secondary NameNode可以及时地作为备用NameNode使用。

NameNode维护以上管理信息的四个重要的物理文件：

fsimage：二进制文件,存储HDFS的文件和目录元数据。格式如下：
edits：作为NameNode的变更日志，记录fsimage的变更信息，如创建/删除目录，创建/删除文件，修改权限，修改namespace/diskspace限额等。
fstime：记录最近一次checkpoint的时间，作为Secondary NameNode判断当前是否需要进行checkpoint的依据。
VERSION：记录namspaceID，作为整个namespace的唯一标识，DataNode也保存这个标识，在每次DataNode连接NameNode时都要检查，不一致的DataNode会被拒绝连接。

NameNode和secondary Namenode:

为什么会用这样的交互机制？

原因：

1.fsimage是存于硬盘的元数据检查点，Hadoop不会对每个文件操作都写出到fsimage，这样是很慢的，但是每个文件操作都会在提交后运行前先写入edits编辑日志，这样在namenode出现故障后，就会将fsimage和edits编辑日志结合读入内存，重建元数据信息。

2.为了避免edits编辑日志的无限制扩大，secondary namenode 就回按照时间阈值（比如1小时）或者按大小阈值（edits编辑日志文件大小超过64M，这些参数都可以设置）“周期性”的读取namenode中的edits和fsimage重构fsimage检查点，同时在namenode中进行edits的滚动，来解决这个问题。

<2>、DataNode介绍

提供数据存储空间，保存HDFS中的数据信息，它管理的是数据块(Block) 。
响应来自 HDFS 客户端的读写请求，
响应来自 NameNode 的创建、删除和复制块的命令。

当一个Datanode启动时，它会扫描本地文件系统，产生一个这些本地文件对应的所有HDFS数据块的列表，然后作为报告发送到Namenode，这个报告就是块状态报告。

<3>、Client介绍

代表用户与namenode和datanode交互来访问整个文件系统。客户端提供了一些列的文件系统接口，因此我们在编程时，几乎无须知道datanode和namenode，即可完成我们所需要的功能。

<4>、Namenode，Datanode，Client之间的通信

Namenode，Datanode，Client之间的通信都是建立在TCP/IP的基础之上的。当Client要执行一个写入的操作的时候，命令不是马上就发送到Namenode，Client首先在本机上临时文件夹中缓存这些数据，当临时文件夹中的数据块达到了设定的Block的值（默认是64M）时，Client便会通知Namenode，Namenode便响应Client的RPC请求，将文件名插入文件系统中并且在Datanode中找到一块存放该数据的block，同时将该Datanode及对应的数据块信息告诉Client，Client便把这些本地临时文件夹中的数据块写入指定的数据节点。

（二）、Map/Reduce和计算任务框架介绍

<一>、Map/Reduce介绍

提供了一套并发处理数据的接口
Map 函数接受一组数据并将其转换为一个键/值对列表，输入域中的每个元素对应一个键/值对。
Reduce 函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）缩小键/值对列表。

执行计算流程图：

Map/Reduce的本质是用户需编程提供两个以Key/value方式操作的函数：

f(map) ~ input_data list (k1,v1)

f(reduce) ~ (k1,list(v1)) result_data

Map/Reduce系统提供的隐藏操作有：

将map结果list(k1,v1)重新分发，使同一个k1对应的数据(k1,list(v1))定向到同一个计算单元reducer。

例子：我们想要统计每个员工每天在开会上平均要花费多少时间。数据内容：employee, date, meeting_time。

如果用sql，maybe：select employee, avg(meeting_time) from tablename group by employee.
如果用map/reduce programming，maybe：map过程，把数据按<employee, meeting_time>分发；reduce过程，对同一个employee的meeting_time求平均，并输出<employee, avg(meeting_time)>

<二>、JobTracker和TaskTracker介绍：

JobTracker介绍：

JobTracker后台程序用来连接应用程序与Hadoop。用户代码提交到集群以后，由JobTracker决定哪个文件将被处理，并且为不同的task分配节点。同时，它还监控所有的task，一旦某个task失败了，JobTracker就会自动重新开启这个task，在大多数情况下这个task会被放在不用的节点上。每个Hadoop集群只有一个JobTracker，一般运行在集群的Master节点上。

TaskTracker介绍：

TaskTracker与负责存储数据的DataNode相结合，其处理结构上也遵循主/从架构。JobTracker位于主节点，统领 MapReduce工作；而TaskTrackers位于从节点，独立管理各自的task。每个TaskTracker负责独立执行具体的task，而 JobTracker负责分配task。虽然每个从节点仅有一个唯一的一个TaskTracker，但是每个TaskTracker可以产生多个java 虚拟机（JVM），用于并行处理多个map以及reduce任务。TaskTracker的一个重要职责就是与JobTracker交互。如果 JobTracker无法准时地获取TaskTracker提交的信息，JobTracker就判定TaskTracker已经崩溃，并将任务分配给其他节点处理。