### Spark
报错 `
ExitCodeException exitCode=127` 原因及解决方案
`
ExitCodeException exitCode=127` 是 Spark 应用程序在集群模式下执行过程中常见的错误之一，通常表示操作系统无法找到或执行某个指定的命令或脚本。exit code `
127` 来自 Unix/Linux 系统的错误码，代表“Command not found”[^3]。
#### 常见原因
1. **环境变量缺失或配置错误**
Spark 应用程序在 YARN 集群模式下
运行时，执行器容器会尝试执行一些系统命令（如 `
hadoop`, `spark-submit` 或自定义脚本）。若相关命令未在容器的 PATH 环境变量中定义，或环境变量未正确传播，将导致命令无法找到[^3]。
2. **资源发现脚本配置错误**
若配置了自定义资源（如 GPU）并使用了资源发现脚本（Resource Discovery Script），而脚本路径错误、权限不足或脚本本身不存在，也可能导致 exit code
127 错误[^2]。
3. **缺少必要的二进制文件**
在 Windows 环境下
运行 Hadoop 或 Spark 时，若未正确配置 `
hadoop.dll` 或 `winutils.exe`，可能导致某些命令无法执行，从而引发类似错误。虽然此情况通常表现为其他 exit code（如 -
107374
15
15），但在某些系统兼容性问题中也可能表现为 exit code
127[^5]。
#### 解决方案
1. **检查执行环境的 PATH 变量**
确保所有节点上的执行器容器中所需的命令（如 `
hadoop`, `spark-submit`）在 PATH 环境变量中可用。可以在 `spark-submit` 中通过以下方式显式设置环境变量：
```bash
--conf spark.yarn.appMasterEnv.PATH
=/usr/local/sbin
:/usr/local/bin
:/usr/sbin
:/usr/bin
```
2. **验证资源发现脚本路径与权限**
若配置了自定义资源发现脚本，确保脚本路径正确，并且具有可执行权限：
```bash
chmod +x /path/to/discover-resources.sh
```
同时在 `spark-defaults.conf` 或 `spark-submit` 中设置：
```bash
--conf spark.worker.resourceDiscoverScript
=/path/to/discover-resources.sh
```
3. **检查 Windows 系统依赖文件**
若在 Windows 上
运行 Spark 并使用
Hadoop 组件，应确保 `
hadoop.dll` 和 `winutils.exe` 文件已正确放置在系统路径中（如 `C
:\Windows\System32`），并确保其版本与
Hadoop 版本一致。
4. **查看容器日志定位具体错误**
通过 YARN 的 Web UI 或以下命令获取容器日志，以确认具体是哪个命令执行失败：
```bash
yarn logs -applicationId <application_id>
```
日志中通常会包含类似 `execve failed` 的信息，有助于定位缺失的命令或脚本。
#### 示例配置
以下是一个完整的 `spark-submit` 示例，包含环境变量和资源脚本的配置：
```bash
spark-submit \
--master yarn \
--deploy-mode cluster \
--conf spark.worker.resourceDiscoverScript
=/opt/spark/scripts/discover-gpu.sh \
--conf spark.yarn.appMasterEnv.PATH
=/usr/local/sbin
:/usr/local/bin
:/usr/sbin
:/usr/bin \
--conf spark.driver.resource.gpu.amount
=1 \
--conf spark.executor.resource.gpu.amount
=1 \
your-application.jar
```
#### 验证方法
- 使用 `spark-submit` 时启用事件日志记录，便于事后分析：
```bash
--conf spark.eventLog.enabled
=true \
--conf spark.eventLog.dir
=file
:///tmp/spark-events
```
- 查看 Spark UI 和 YARN ResourceManager 页面，确认容器启动状态和资源分配情况。
---
解决Hadoop WordCount案例报错
本文描述了在运行Hadoop WordCount案例时遇到的程序报错问题，并提供了详细的解决方案。通过修改mapred-site.xml文件中的主机名，成功解决了报错，使案例运行结果正确。
扫一扫
1086
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
