Hive调优-计算资源分配

前言

有些时候，代码运行速度慢、效率低，可能仅仅是因为资源分配不当

1. Yarn资源配置

需要调整的Yarn参数均与CPU、内存等资源有关，核心配置参数如下：

1.1 yarn.nodemanager.resource.memory-mb

该参数的含义是，一个NodeManager节点分配给Container使用的内存。该参数的配置，取决于NodeManager所在节点的总内存容量和该节点运行的其他服务的数量。

• 该参数默认值为8G
• 应该根据具体配置具体分析，基本在总内存的二分之一到三分之二
• 考虑上述因素，此处可将该参数设置为64G，如下：

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>65536</value>
</property>