使用命令查看详细的报错日志
# 提高系统的日志级别,并在控制台输出
hive --hiveconf hive.root.logger=DEBUG,console

原因:JVM堆内存溢出了
解决办法:
在yarn-site.xml添加或者修改如下内容:
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>3072</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx1024m</value>
</property>

最后:
将配置同步到其他节点,重启hadoop
该博客介绍了如何通过调整Hadoop配置参数来解决JVM堆内存溢出的问题,包括增大YARN调度器的最大和最小内存分配,并设置内存与虚拟内存的比例。同时,讲解了如何提高日志级别在控制台输出详细报错,以帮助诊断和解决问题。
4028

被折叠的 条评论
为什么被折叠?



