第九第十 hdfs的读写流程&mapreduce流程入门

最新推荐文章于 2024-07-12 17:14:29 发布

原创最新推荐文章于 2024-07-12 17:14:29 发布 · 781 阅读

CC 4.0 BY-SA版权

文章标签：

8 篇文章

订阅专栏

该博客介绍了第九天HDFS工作机制课程，包括上传、下载文件流程，nn dn核心概述，还有HDFS的Java操作和shell采集数据案例。第十天课程聚焦入门MapReduce，阐述其先分再合思想，介绍实现计算方法、设计构思及Java单词统计案例，强调namenode重要性和HDFS读写流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第九天课程–hdfs工作机制：

HDFS工作机制：
NameNode负责文件系统的元数据；DataNode负责管理具体文件数据块存储；SecondaryNameNode协助NameNode进行元数据备份。
HDFS内部机制对客户端保持透明；客户端请求访问HDFS都是通过向NameNode申请来进行。
mapreduce思想：分而治之
map负责分，把复杂的任务分解为若干个简单的任务来并行处理。前提是，这些任务可以并行计算，彼此间没有依赖。
reduce负责合：对map阶段的结果进行汇总。

在这里插入图片描述

上图为HDFS结构图
如何寻找datanode
1、如果客户端所在的机器正好有空闲并且健康的dn，则第一块数据放在这个dn。否则，选择网络拓扑距离(交换机)最短的dn。
2、同机架不同机器找一个。
3、不同机架随机找一个。
4、如果副本不是3，第一个按照规则，其他的随机寻找dn。
下图为上传文件写数据流程
blk1的本身以及它的备份先传输完再进行blk2的传输。

在这里插入图片描述 1. 客户端并行下载数据，如图中的第三步。

开发环境构建–FileSystem类
注意身份&注意winUtilsexe

分而治之
Map 负责分，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。
Reduce 负责“合，即对 map 阶段的结果进行全局汇总。

在这里插入图片描述

在这里插入图片描述

Map: 对一组数据元素进行某种重复式的处理;
Reduce: 对 Map 的中间结果进行某种进一步的结果整理。
map: (k1; v1) → [(k2; v2)]
reduce: (k2; [v2]) → [(k3; v3)]
Map 和 Reduce 为程序员提供了一个清晰的操作接口抽象描述。通过以上两
个编程接口，大家可以看出 MapReduce 处理的数据类型是<key,value>键值对。