hadoop报错 is longer than maximum configured RPC length 67108864

最新推荐文章于 2025-09-17 16:59:03 发布

原创

最新推荐文章于 2025-09-17 16:59:03 发布 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

在使用Hadoop 2.7.3集群时遇到数据录入延迟高且namenode日志显示'is longer than maximum configured RPC length 67108864'错误。该错误是因为IPC通讯数据超过默认最大64MB限制。解决方法包括：1) 在core-default.xml, core-site.xml和hdfs-site.xml中增加`ipc.maximum.data.length`配置至128MB；2) 修改protobuf-java-2.5.0-sources.jar中CodedInputStream.java的DEFAULT_SIZE_LIMIT为128MB，并替换到相关lib目录；3) 重启整个集群以应用更改。" 114268983,10715963,Python环境配置与IDEA创建项目指南,"['Python', 'IDEA', '开发环境', '项目配置']

hadoop 2.7.3 集群，出现录入数据延迟高的问题，namenode日志中有报错信息：
is longer than maximum configured RPC length 67108864

报错原因：
ipc实际通讯的数据包大于默认最大的数据包配置64MB

解决办法：
提高这个参数到128MB

1、在下面3个配置中同时加上
vi /data/usr/hadoop-2.7.3/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml
vi /data/usr/hadoop-2.7.3/etc/hadoop/core-site.xml
vi /data/usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<property>
<name>ipc.maximum.data.length</name>
<value>134217728</value>
</property>

2、替换 protobuf-java-2.5.0-sources.jar ，解压 jar包，其中修改 CodedInputStream.java 的 DEFAULT_SIZE_LIMIT 参数

DEFAULT_SIZE_LIMIT = 64 << 20
>>
DEFAULT_SIZE_LIMIT = 128 << 20

拷贝新的包替换到下面目录
/data/usr/hadoop-2.7.3/share/hadoop/common/lib/
/data/usr/hadoop-2.7.3/share/hadoop/hdfs/lib/
/data/usr/hadoop-2.7.3/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib/
/data/usr/hadoop-2.7.3/share