HDFS、YARN、MapReduce概述及三者之间的关系

夏夜迷

已于 2022-03-30 17:15:54 修改

阅读量8.5k

点赞数 12

分类专栏：大数据文章标签： hdfs hadoop big data

于 2022-01-27 18:12:41 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_49415186/article/details/122719922

版权

本文详细介绍了HDFS的架构，包括NameNode和DataNode的工作原理，文件块大小的设定及其优缺点。接着概述了YARN的组成部分，如ResourceManager、NodeManager和ApplicationMaster。此外，还探讨了MapReduce的优缺点。最后，阐述了HDFS、YARN和MapReduce之间的关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、HDFS架构概述

1、HDFS定义

HDFS(Hadoop Distributed File System) 它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

2、HDFS组成

1、NameNode（nn）: 就是Master，它是一个主管、管理者。存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。(告诉在哪存储，储存什么内容)

管理HDFS的名称空间 ;
配置副本策略；
管理数据块（Block）映射信息；
处理客户端读写请求。

2、DataNode : 就是slave，NameNode下达命令，DataNode执行实际的操作。

存储实际的数据块；
执行数据块的读、写操作

3、2nn：每隔一段时间对NameNode元数据备份
在这里插入图片描述

3、HDFS文件块大小

HDFS中的文件在物理上是分块存储（Block），块大小可以通过配置参数（dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M,1.x版本是64M
结论：
（1）如果寻址时间约为10ms，即查找到目标block的时间为10ms
（2）寻址时间为传输时间的1%时，则为最佳状态。即：10ms/10%=1000ms
（3）而目前磁盘的传输速率普遍为100MB/s。因此块大小按最小单元设置为128M
（4）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；
（5）HDFS的块设置太大，从磁盘传输数据的时间会明显大于定位这个块开始位置的时间。导致程序在处理这块数据时，会非常慢。