hadoop之HDFS源码分析---HDFS通信协议

最新推荐文章于 2023-04-13 15:19:02 发布
转载 最新推荐文章于 2023-04-13 15:19:02 发布 · 387 阅读 · 1

本文介绍了HDFS中的两种通信协议：HadoopRPC接口和流式接口，并详细阐述了HadoopRPC接口的定义及其在HDFS进程间通信的作用。

一、HDFS中提供两种通信协议
1.Hadoop RPC接口：HDFS中基于Hadoop RPC框架实现的接口
2.流式接口：HDFS中基于TCP或者HTTP实现的接口

二、下面先讲Hadoop RPC接口
Hadoop RPC调用使得HDFS进程能够像本地调用一样调用另一个进程中的方法，目前Hadoop RPC调用基于Protobuf实现，具体底层细节后面再讲，本章主要介绍Hadoop RPC接口的定义。接口定义在org.apache.hadoop.hdfs.protocol和org.apache.hadoop.hdfs.server.protocol包中，包括以下几个接口：

  • ClientProtocol:客户端和名字节点间的接口；
  • ClientDatanodeProtocol:客户端与数据节点的接口（这个方法主要是用于客户端获取数据节点信息时调用，真正的数据读写交互在流式接口进行）
  • DatanodeProtocol:数据节点与名字节点通信接口
  • InterDatanodeProtocol:数据节点与数据节点间的通信接口
  • NamenodeProtocol:第二名字节点与名字节点间的接口
    其他接口：主要包括安全相关接口，HA相关接口


>>>阅读全文

sweetfire
关注
使用 HDFS 协议访问对象存储服务
云存储小天使的博客
05-06 1839
背景介绍 原生对象存储服务的索引是扁平化的组织形式，在传统文件语义下的 List 和 Rename 操作性能表现上存在短板。腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。 （一）什么是元数据加速器？ 元数据加速功能是由腾讯云对象存储（Cloud Object Storage，COS）服务提供的高性能文件系统功能。 元数据加速功能底层采用了云 HDFS 卓越的元数据管理功能，支持用户通过文件系统语义访问对象存储服务，系统设计指标可
HDFS源码分析（1）--RPC解析
wubin1101的博客
03-30 724
首先需要声明的是，我是基于Hadoop 3.0的源码？什么是RPC    RPC：远程过程调用，怎么理解这个概念呢，就是说比如有两台服务器A、B，A服务器上的程序想要调用B服务器上的某个方法就像在本地调用一样，能够的到结果或者失败之后的异常。那么这个过程中涉及到几个部分呢。这里先举一个简单的例子来说明一下。    RPC可以简单的抽象成一个打电话的例子（虽然有所不同，但是初期这样可以有助于理解）。...
Hadoop中HDFS源代码分析
10-29
先对Hadoop进行系统的阐述，然后重点介绍HDFS，分析HDFS源码
Hadoop之HDFS源代码分析 pdf
08-01
Hadoop之HDFS源代码分析 pdf版 ,从源码学习文件系统的精髓，值得一看
Hadoop-0.20.0源代码分析（13）
千与的专栏
09-28 4978
通过对org.apache.hadoop.ipc包中，Hadoop实现了基于IPC模型的RPC机制，可以不需要像Java中实现的RMI机制一样，在RPC调用的C/S两端分别创建Stub和Skeleton，而是通过一组协议来进行RPC调用就可以实现通信。这主要是由于Hadoop所采用的序列化机制简化了RPC调用的复杂性。Hadoop定义了自己的通信协议，这些协议都是建立在TCP/IP协议之上的，规范
HadoopHDFS源码解析
走自己的路
10-11 1062
HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上，并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂，因为它要引入网络编程，分布式文件系统要容忍节点故障也是一个很大的挑战。我们BI团队作为数据分析团队，对于数据的存储有着非常高的要求，不仅需要高可靠及高吞吐量，还必须满足通过不断水平扩展来满足日益增长的业务数据，当前HDFS很好的满足了我们对于大规模数据存储的要求。
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要）...
hadoop-hdfs-client-2.9.1-API文档-中文版.zip
04-07
赠送jar包：hadoop-hdfs-client-2.9.1.jar 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-...
hadoop-hdfs-client-2.9.1-API文档-中英对照版.zip
06-12
赠送jar包：hadoop-hdfs-client-2.9.1.jar； 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar； 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-client-2.9.1.pom；...
hadoop-hdfs-2.7.3-API文档-中英对照版.zip
04-20
赠送jar包：hadoop-hdfs-2.7.3.jar； 赠送原API文档：hadoop-hdfs-2.7.3-javadoc.jar； 赠送源代码：hadoop-hdfs-2.7.3-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-2.7.3.pom； 包含翻译后的API文档：hadoop...
hadoop-hdfs-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-hdfs-2.6.5.jar； 赠送原API文档：hadoop-hdfs-2.6.5-javadoc.jar； 赠送源代码：hadoop-hdfs-2.6.5-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-2.6.5.pom； 包含翻译后的API文档：hadoop...
Hadoop源码分析 完整版 共55章
07-26
caibinbupt的Hadoop源码分析完整版，包括 HDFS 和 MapReduce。 HDFS: 41章 MapReduce: 14章
HDFS 源码解读：HadoopRPC 实现细节的探究
DiDi_Tech的博客
06-22 675
桔妹导读：HDSF 作为分布式文件系统，常常涉及 DataNode、NameNode、Client 之间的配合、相互调用才能完成完整的流程。为了降低节点之间的耦合性，HD...
HDFS通信协议
lxf5202013121的博客
08-28 1855
HDFS通信协议 HDFS通信协议抽象了HDFS各个节点之间的调用接口。    1. Hadoop RPC接口：hadoop RPC调用是的HDFS进程能够像本地调用一样调用另一个进程中的方法(远程过程调用协议)。       1.1 ClientProtocol:定义了客户端端Namenode节点之间的接口，客户端对文件系统的所有操作都要通过这个接口。             1
hadoop源码解析-HDFS通讯协议(上- ClientProtocol 和 ClientDataNodeProtocol)
胡俊辉的博客
04-12 2389
NameNode 的内存中除了保存文件系统的namespace外，还保存了文件系统中所有的数据块与DataNode节点的对应关系，因此，NameNode 的内存将会成为HDFS的横向扩展的瓶颈，而当数据块过多，也会引起NameNode频繁的GC，影响系统的稳定性。当客户端读取一个HDFS文件时，需要获取这个文件对应的所有数据块的长度，用于简历数据块的输入流，然后进行数据读取，但是NameNode 的元数据中文件最后一个数据块的长度可能与实际的不一致，所以需要调用这个方法获取真实长度。
hdfs 读写数据流程
qq_43192537的博客
01-10 241
hdfs 读写数据流程
hadoop源码解析-HDFS通讯协议(下- DataNodeProtocol、InterDatanodeProtocol、NamenodeProtocol和流式接口)
胡俊辉的博客
04-13 893
远端的 Receiver接受到请求，会反序列化请求，然后调用代码执行读取操作。DataNode 在注册成功后，会将自己所有的块信息上报，方法含有3个参数，包含一个DataNode 标识，块池ID 和数据块列表，NameNode接受到消息时，会将上报的块信息与DataNode建立其对应的关联关系，同时在响应结果中携带相关指令，通知节点进行重新注册、发送心跳、备份或者删除DataNode 本地磁盘上的数据块，块上报在启动就会执行一次，后续会按照参数，按照一定的时间间隔进行数据上报。
HDFS源码分析（一）
TORCH_LI的博客
10-29 322
DataStorage最重要的功能之一是管理磁盘存储空间的生命周期
"C:\Program Files\Java\jdk-17\bin\java.exe" -Didea.launcher.port=54222 "-Didea.launcher.bin.path=D:\hadoop\IntelliJ IDEA Community Edition 2018.3.6\bin" -Dfile.encoding=UTF-8 -classpath "D:\hadoop\Hadoop\target\classes;D:\hadoop\hadoop-3.1.4\share\hadoop\client\hadoop-client-api-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\client\hadoop-client-runtime-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\client\hadoop-client-minicluster-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\common\hadoop-kms-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\common\hadoop-nfs-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\common\hadoop-common-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\common\hadoop-common-3.1.4-tests.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-nfs-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-rbf-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-3.1.4-tests.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-client-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-httpfs-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-rbf-3.1.4-tests.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-client-3.1.4-tests.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-native-client-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-native-client-3.1.4-tests.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-client-hs-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-client-app-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-client-core-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-client-common-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-client-shuffle-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-c
最新发布
05-07
好的，我现在需要帮助用户解决Hadoop 3.1.4的启动命令配置问题，特别是关于JDK 17和IDEA Community Edition 2018.3.6的classpath路径分析。首先，我得回顾一下用户提供的引用内容和之前的问题。 用户提到了几个关键...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值