hive join操作踩坑记-报错信息FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr...

最新推荐文章于 2025-03-14 11:05:19 发布

原创

最新推荐文章于 2025-03-14 11:05:19 发布 · 3.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hive #hdfs #spark #大数据

本文记录了一次在使用Hive进行JOIN操作时遇到的问题，执行时间突然增加并出现错误：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask。通过检查发现是由于HDFS存储空间不足，导致reduce任务失败。错误排查过程包括查询HDFS剩余空间及找出占用空间大的文件，最终定位问题在于/user/hadoop/.Trash目录，清理后JOIN操作恢复正常。" 110914678,10417370,Python3 列表初始化详解,"['Python编程', '数据结构', '数组操作']

#Hive join操作踩坑记

事件经过

使用hive join操作时，肉眼可见同样的操作用时越来越长，同样的操作用时从一百多秒直接飙升到三四百秒，并且有时运行时汇报出错误信息 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)。通过jobhistoryserver的记录显示一些reduce task运行失败了，报错信息为There are 2 datanode(s) running and no node(s) are excluded in this operation。通过搜索得知可能是由于hdfs存储空间不足导致

报错信息

（1）hive报错信息
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)

（2）jobhistoryserver报错信息
There are 2 datanode(s) running and no node(s) are excluded in this operation.