java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException:

最新推荐文章于 2023-11-15 09:49:01 发布
最新推荐文章于 2023-11-15 09:49:01 发布
阅读量5.3k 收藏 6
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Hadoop 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40433318/article/details/89403478
本文详细解析了HDFS端口配置错误的原因，主要由于端口号设置不当导致IOException异常。通过使用hdfs getconf命令，可以正确获取并设置HDFS的端口号，从而解决访问HDFS时出现的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

出现这个原因，主要是因为端口号写错了：
java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: “pmaster/192.168.92.135”; destination host is: “pmaster”:50070;

用下面代码，得到正确的端口号

hdfs getconf -confKey fs.default.name

在这里插入图片描述
获取正确的端口号就可以正常访问hdfs啦！

深入解析protobuf解析异常问题（ Protocol message end-group tag did not mat）
私聊前往站内信：https://i.youkuaiyun.com/#/msg/chat/weixin_44976692
12-20 8275
Protobuf 是 Google 开发的一种高效的数据序列化协议，它主要用于在不同的服务之间传输结构化数据。高效：Protobuf 序列化后的数据格式较小，传输速度快。跨语言支持：Protobuf 支持多种编程语言，包括 Java、C++、Python、Go 等。灵活性：Protobuf 提供了版本控制机制，允许在不破坏现有数据格式的情况下对消息格式进行修改。序列化数据损坏或格式不正确。数据的协议版本不匹配，导致无法正确解析。字段类型不匹配或缺失。
spark学习-spark的一些异常
九师兄
08-15 1715
Caused by: java.io.IOException: com.google.protobuf.ServiceException: java.lang.NoClassDefFoundError: com/yammer/metrics/core/GaugeCaused by: java.net.SocketTimeoutException: callTimeout=60000, callDur
解决java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException
qq_45923034的博客
11-14 1383
1:查看HBase的配置文件hbase/conf/hbase-site.xml中配置的。2.下面这个代码获取端口号。3.重启hbase成功。
解决：Exception in thread “main“ java.io.IOException: Failed on local exception: com.google.protobuf
qq_59947103的博客
05-17 2163
集群上提交运行jar包程序，出现如下错误: Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "hadoop/192
phoenix连接hbase数据库，创建二级索引报错：Error: org.apache.phoenix.exception.PhoenixIOException: Failed after atte...
weixin_34174422的博客
03-06 1314
环境描述： 操作系统版本：CentOS release 6.5 (Final) 内核版本：2.6.32-431.el6.x86_64 phoenix版本：phoenix-4.10.0 hbase版本：hbase-1.2.6 表SYNC_BUSINESS_INFO_BYDAY数据库量：990万+ 问题描述： 通过phoenix客户端连接hbas...
HBASE的hmaster报java.lang.RuntimeException: HMaster Aborted
小曼的博客
03-26 6198
bin/start-hbase.sh启动后，Hregionserver启动正常，Hmaster启动之后又自动关闭。 我的情况： 三台虚拟机，需要在1和2上启动hmaster，1、2、3上启动hregionserver。 首先保证zookeeper，HDFS正常。 1.删除zookeeper中hase缓存 链接zookeeper： 删除缓存： 2、查看HDFS状态 错误中有...
2021-04-05：使用IDEA进行spark读取HDFS上的文件遇到的两个错误
qq_42468054的博客
04-05 2390
使用IDEA进行spark读取HDFS上的文件遇到的两个错误： （1）Failed on local exception: java.io.IOException: 你的主机中的软件中止了一个已建立的连接 我是连接xshell开启集群再在IDEA读取hdfs上的数据： val data = spark.read.option("header","true").option("delimiter",",").csv("hdfs://master:50070/usr/root/test.csv"
解决报错显示：【客户端：IPC客户端（1783083399）到主机的连接/192.168.73.130:8088从根目录：已停止，剩余连接0】
一只大数据专业的傻猪猪
03-19 3204
22/03/18 11:34:00 DEBUG ipc.Client: IPC Client (1783083399) connection to master/192.168.73.130:8088 from root: stopped, remaining connections 0 java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol me
解决 Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message
kwame211的博客
01-30 1万+
这个错误主要是端口号写错了，我来演示一下错误 [root@hadoop1 ~]# hdfs dfs -ls hdfs://192.168.0.37:50070/ ls: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did ...
Hadoop: 访问hdfs报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferExceptio
amadeus_liu2的博客
04-10 731
可能是hdfs端口配置的不是默认的9000, hdfs getconf -confkey fs.default.name 可以查看端口
spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException
weixin_43079984的博客
03-19 2488
./bin/spark-shell启动shell环境后，提交命令sc.textFile(“hdfs://test-szzt01:9000/test/hello.txt”).flatMap(.split(" ")).map((,1)).reduceByKey(+).saveAsTextFile(“hdfs://test-szzt01:9000/test/output”) spark报异常 这里时H...
com.google.protobuf.InvalidProtocolBufferException: Protocol message contain
热门推荐
zl15145428的博客
07-07 1万+
错误记录:com.google.protobuf.InvalidProtocolBufferException: Protocol message contain FileInputStream in = new FileInputStream(file);ByteArrayOutputStream out = new ByteArrayOutputStream();   byte[] b = n...
Caused by: java.lang.IllegalStateException: com.google.protobuf.InvalidProtocolBufferException: Prot
weixin_51473488的博客
11-15 551
hadoop中namenode报错Caused by: java.lang.IllegalStateException: com.google.protobuf.InvalidProtocolBufferException: Protocol message was too large. May be malicious. Use CodedInputStream.setSizeLimit() to increase the size limit。在hdfs-site.xml中添加以下配置。
com.google.protobuf.InvalidProtocolBufferException: Message missing required fields: callId, status
ArmandXu的专栏
12-30 1万+
造成以下的错误，是因为使用的hadoop 的java api的版本与集群上的版本不一致造成的，hadoop使用ProtocolBuffer对消息进行序列化，由于版本不同使用的ProtocolBuffer也是不同的，所以在反序列化的时候出现了错误。1620784 [DefaultQuartzScheduler_Worker-0] INFO org.apache.hadoop.yarn.service
mkdir: Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initia
weixin_46951496的博客
11-03 1585
>hdfs dfs -mkdir /path 报错 报错信息: mkdir: Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]; Hos
java.io.IOException: write failed: EPIPE (Broken pipe)
最新发布
06-05
java.io.IOException: write failed: EPIPE (Broken pipe)是Java程序中常见的一个异常，通常发生在使用流进行数据读写的时候。这个异常表示数据写入失败，可能是由于目标文件已经关闭或者是网络连接中断等原因导致的。 其中，EPIPE (Broken pipe) 表示管道破裂，通常是由于对端已经关闭了连接，而你仍然试图向它写入数据所导致的。 解决这个问题的方法通常有以下几种： 1. 检查文件、网络连接等资源是否已关闭，如果已关闭则不再进行写操作。 2. 使用try-catch语句捕获IOException异常，并进行相应处理。 3. 可以考虑在进行文件或网络读写时，使用缓存技术，将要写入的数据先缓存到内存中，等待后续再一次性写入。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值