HIVE 语句执行中报错：Java heap space

翔飞天宇

于 2017-01-23 11:13:40 发布

阅读量2.8k

点赞数

分类专栏：编程语言/数据库/SSH oracle/mysql/hivesql 文章标签： hive heap hive堆栈溢出

本文链接：https://blog.youkuaiyun.com/ljp812184246/article/details/54692277

版权

编程语言/数据库/SSH 同时被 2 个专栏收录

70 篇文章

订阅专栏

oracle/mysql/hivesql

9 篇文章

订阅专栏

本文介绍了在使用Hive过程中遇到的Java堆内存溢出问题及其解决办法。通过调整参数io.sort.mb并结合其他配置优化，成功解决了内存溢出的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、报错信息
Diagnostic Messages for this Task:
Error: Java heap space

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

2、根据提示加大了 HADOOP_HEAP 设置，但是错误依旧；

3、后来测试中，设置 set io.sort.mb=10; 默认值是100，问题轻松解决；
其他几个参数： set hive.map.aggr=true； //在map端做部分聚合
set hive.groupby.skewindata=true;//解决数据倾斜问题

4、io.sort.mb 的作用
排序所使用的内存数量。
默认值：100M，需要与mapred.child.java.opts相配默认：-Xmx200m。
不能超过mapred.child.java.opt设置，否则会OOM。

参考：
1、http://www.aboutyun.com/thread-7524-1-1.html
2、http://blog.youkuaiyun.com/sanms/article/details/11575143
3、http://blog.sina.com.cn/s/blog_6a67b5c50100vop9.html