failedVertices1 killedVertices0

最新推荐文章于 2024-08-16 22:41:01 发布

热心市民爱抽烟屁

最新推荐文章于 2024-08-16 22:41:01 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 sqoop hadoop hdfs mapreduce

本文链接：https://blog.youkuaiyun.com/TYM112/article/details/116270186

博客内容讲述了在Hadoop环境中遇到的Vertex执行失败的问题，具体表现为OWN_TASK_FAILURE，导致DAG任务未能成功。为解决此问题，建议在`yarn-site.xml`中增加配置，将`yarn.scheduler.minimum-allocation-mb`设置为2048MB，并将`yarn.nodemanager.vmem-pmem-ratio`调整为4.0。这些改动旨在优化内存分配，避免任务因资源不足而被杀死。重启Hadoop服务后，问题有望得到解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2.错误解决Vertex did not succeed due to OWN_TASK_FAILURE, failedTasks:1 killedTasks:1, Vertex vertex_1619629015797_0001_1_00 [Map 1] killed/failed due to:OWN_TASK_FAILURE]DAG did not succeed due to VERTEX_FAILURE. failedVertices:1 killedVertices:0

#在hadoop/etc/hadoop/yarn-site.xml添加如果配置 
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
   <description>default value is 1024</description>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4.0</value>
    <description>default value is 4.0</description>
</property>