hadoop发生的问题集锦

最新推荐文章于 2022-05-14 14:28:58 发布

天边tbdp

最新推荐文章于 2022-05-14 14:28:58 发布

阅读量661

点赞数

CC 4.0 BY-SA版权

分类专栏： cloudera manager

本文链接：https://blog.youkuaiyun.com/tbdp6411/article/details/24421623

cloudera manager 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了在使用Hive过程中遇到的shuffle port配置问题及解决方案。当出现Containerlaunchfailed错误时，表明YARN未正确配置shuffle选项，导致MapReduce无法进行shuffle处理。文章详细解释了如何通过修改yarn-site.xml文件来解决此问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在操作hive时，发生Container launch failed for container_1398321629557_0004_01_000005 : java.lang.IllegalStateException: Invalid shuffle port number -1 returned for attempt_1398321629557_0004_m_000000_3，说明yarn没有配置shuffle的选项，使得mapreduce不能进行shuffle处理，这时我们需要在yarn-site.xml中添加上

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
选项。