在使用Flume进行Hive日志数据上传到HDFS的过程中，遇到HDFSIOerror，错误信息提示RPC响应超过最大数据长度。问题根源是配置文件中写错了端口，应配置为8020。修正端口配置后，成功在hadoop102:9870上创建Flume文件夹并写入日志。
利用flume进行hive日志数据收集上传hdfs时，报错，错误信息为：
HDFS IO error
java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "hadoop102/192.168.10.102"; destination host is: "hadoop102":9870;
分析原因在于配置文件中端口写错了，应该写8020端口
修改后果然成功在hadoop102:9870页面创建flume文件夹成功，写入日志文件
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
