Tez优化参数设置

原创

已于 2023-11-22 21:10:35 修改 · 2.6w 阅读

33 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hadoop

于 2017-09-25 22:10:40 首次发布

本文详细介绍了Tez在Hadoop环境中的内存优化，包括AM和Container的内存及JVM参数设置，如tez.am.resource.memory.mb和hive.tez.container.size等。此外，还涉及了Hive的Map Join参数，如tez.runtime.io.sort.mb和hive.auto.convert.join.noconditionaltask.size。同时讨论了Mapper/Reducer的优化策略，包括Mapper数、Reducer数的设置以及Shuffle阶段的相关参数。提供了一套完整的Tez性能调优方案。

Tez内存优化

1、AM、Container大小设置

tez.am.resource.memory.mb

参数说明：Set tez.am.resource.memory.mb tobe the same as yarn.scheduler.minimum-allocation-mb the YARNminimum container size.

hive.tez.container.size

参数说明：Set hive.tez.container.size to be the same as or a small multiple(1 or 2 times that) of YARN container size yarn.scheduler.minimum-allocation-mb but NEVER more than yarn.scheduler.maximum-allocation-mb.

2、AM、Container JVM参数设置

tez.am.launch.cmd-opts

默认值：80%*tez.am.resource.memory.mb

参数说明：一般不需要调整

hive.tez.java.ops

默认值：80%*hive.tez.container.size

参数说明：Hortonworks建议“–server –Djava.net.preferIPv4Stack=true–XX:NewRatio=8 –XX:+UseNUMA –XX:UseG1G”

tez.container.max.java.heap.fraction

默认值：0.8

&nbs