Hadoop 笔记（一） HDFS 和 MapReduce 体系结构

原创

已于 2022-04-10 14:40:39 修改 · 1.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据

于 2022-04-04 18:47:31 首次发布

本文详细介绍了Hadoop的HDFS和MapReduce体系结构。HDFS提供高容错、高扩展性的分布式存储，采用master/slave架构，NameNode负责元数据管理，DataNode存储数据块。MapReduce是一种并行计算模式，包括Map和Reduce两个阶段，用于大规模数据集处理。

Hadoop 1.x 由 Common、HDFS、MapReduce 组成。Hadoop 2.x 由 Common、HDFS、YARN、MapReduce 组成。两者的 Common 和 HDFS 部分相同，前者主要为其它模块提供服务，起到辅助作用，后者是 Hadoop 的文件系统。

两个版本的主要区别在于 MapReduce 和 YARN。1.x 版本 MapReduce 负责计算和资源调度，耦合性较大；而 2.x 将这两个功能拆开，MapReduce 负责计算，而 YARN 负责资源调度。

本问主要讲解 HDFS 和 MapReduce 结构，下一篇文章讲解 YARN 结构。

Common

Common 是其它模块的公共接口，提供公用 API。它还提供了 mini 集群、本地库、超级用户、服务器认证和 HTTP 认证等功能。

HDFS

HDFS 是 Hadoop 文件系统，提供了高容错、高扩展、高可靠的分布式存储服务，并提供服务访问接口。

特点

可以自动快速检测应对硬件错误；
适用于批处理数据场景，更多地追求数据吞吐量，这采用了最高效的数据访问——流式数据访问；
还能减少数据传输，转移计算比移动数据更划算；
采用一次性模型，一次写入，多次读取，文件一旦写入后就不再修改；
考虑到平台的可一支性。

体系架构

HDFS 采用 master/slave 架构来构建分布式存储集群，可以任意添加或删除 slave 节点。master 主机运行主进程 namenode，slave 都运行从属进程 datanode。客户端连接 namenode 以获取文件的元数据，而真正的文件 I/O 操作时客户端直接和 datanode 交互。

在这里插入图片描述
NameNode（nn） 就是主控制服务器，负责维护文件系统的命名空间并协调客户端对文件的访问，记录命名空间内的任何改动或命名空间本身的属性改动。存储元数据信息，如文件名、目录结构、文件属性等信息，以及每个文件的块列表和块所在的 DataNode 等。