spark 终止 运行_解决 Amazon EMR 上 Spark 中的“根据要求终止容器。退出代码 137”错误...

如何解决 Amazon EMR 上 Spark 中的“根据要求终止容器。退出代码 137”错误？

上次更新时间：2020 年 1 月 8 日

我在 Amazon EMR 上的 Apache Spark 作业失败，并出现“根据要求终止容器”阶段故障：

Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 3.0 failed 4 times, most recent failure: Lost task 2.3 in stage 3.0 (TID 23, ip-xxx-xxx-xx-xxx.compute.internal, executor 4): ExecutorLostFailure (executor 4 exited caused by one of the running tasks) Reason: Container marked as failed: container_1516900607498_6585_01_000008 on host: ip-xxx-xxx-xx-xxx.compute.internal. Exit status: 137. Diagnostics: Container killed on request. Exit code is 137

简短描述

当容器(Spark 执行程序)内存不足时，YARN 会自动将其终止。这会导致“根据要求终止容器。退出代码 137”错误。这些错误可能发生在不同的作业阶段，无论是窄还是宽转换。

解决方法

使用以下一种或多种方法来解决“退出状态: 137”阶段故障：

增加驱动程序或执行程序内存

通过调整 spark.executor.memory 或 spark.driver.memory 参数来增加容器内存(取决于导致错误的容器)。

在正在运行的集群上：

修改主节点上的 spark-defaults.conf。示例：

sudo vim /etc/spark/conf/spark-defaults.conf

spark.executor.memory 10g

spark.driver.memory 10g

对于单个作业：

使用 --executor-memory 或 --driver-memory 选项来增加运行 spark-submit 时的内存。示例：

spark-submit --executor-memory 10g --driver-memory 10g ...

添加更多 Spark 分区

如果您不能增加容器内存(例如，如果在节点上使用的是 maximizeResourceAllocation)，则增加 Spark 分区的数量。这减少了单个 Spark 任务处理的数据量，从而减少了单个执行程序使用的总内存。使用以下 Scala 代码添加更多 Spark 分区：

val numPartitions = 500

val newDF = df.repartition(numPartitions)

增加随机分区的数量

如果在宽转换过程中发生错误(例如 join 或 groupBy)，则添加更多的随机分区。默认值为 200。

在正在运行的集群上：

修改主节点上的 spark-defaults.conf。示例：

sudo vim /etc/spark/conf/spark-defaults.conf

spark.sql.shuffle.partitions 500

对于单个作业：

运行 spark-submit 时，使用 --conf spark.sql.shuffle.partitions 选项添加更多的随机分区。示例：

spark-submit --conf spark.sql.shuffle.partitions=500 ...

减少执行程序内核的数量

这减少了执行程序同时处理的最大任务数，从而减少了容器使用的内存量。

在正在运行的集群上：

修改主节点上的 spark-defaults.conf。示例：

sudo vim /etc/spark/conf/spark-defaults.conf

spark.executor.cores 1

对于单个作业：

使用 --executor-cores 选项减少在运行 spark-submit 时执行程序内核的数量。示例：

spark-submit --executor-cores 1 ...