weixin_44761855的博客

hive执行join语句时 报错Map local work exhausted memory 导致该错误的原因是localtask出现了内存溢出。 由于开启了hive.auto.convert.join，但是实际小表大小是hive.mapjoin.smalltable.filesize（默认25M，小表不会超过25M）。由于使用的是orc压缩，解压缩后可能大小到了250M，存放到内存大小可能就会...

分享一个hive的 踩坑记录，执行 需要跑MapReduce任务的语句时，报错Error: Java heap space（JAVA 堆空间不足），排查该错误是由于hive任务所使用的内存数量造成的 解决办法： 1、第一个方案 在hive-env.sh中进行更改： 添加 export HADOOP_HEAPSIZE=4096这个属性 2、第二个方案 设置 set io.sort.mb=10; 默...