<think>嗯，用户问的是如何
查看Spark on YARN的
日志，这个问题需要详细解答。首先，我得回忆一下
Spark在
YARN上运行时的
日志管理机制。
YARN作为资源管理器，负责调度
和监控应用，所以
日志应该由
YARN来收集
和管理。用户可能需要知道两种情况的
日志：作业运行时的实时
日志和作业完成后的历史
日志。
首先，实时
日志可以通过
YARN的命令来
查看。记得常用的命令是
yarn logs
-applicati
onId <appId>，但可能需要在
yarn-site.xml中配置
日志聚合是否开启，否则作业完成后
日志可能被删除。需要提醒用户检查配置，特别是
yarn.log
-aggregati
on-enable这个参数是否设置为true。
其次，如果用户想要在作业运行时
查看某个容器的
日志，可以用
yarn logs
-applicati
onId <appId>
-c
ontainerId <c
ontainerId>
-nodeAddress <nodeAddress>。不过，这部分
日志可能比较多，需要结合
Spark的Web UI来定位具体的executor
和容器，可能需要解释如何通过
Spark UI找到applicati
onId
和c
ontainerId。
另外，
Spark应用程序本身的
日志配置，比如log4j.properties，用户可能需要自定义
日志级别，或者调整输出方式，例如输出到文件而不是控制台。这时候需要指导他们修改log4j的配置文件，并打包到应用的jar中，或者在
spark-submit时通过
--files指定。
还有，
Spark的Web UI中的
日志查看方式，用户可能不知道在哪里找到executor的stderr/stdout
日志，需要指出在Executor标签页中可以
查看每个executor的
日志链接，前提是集群配置正确，能够访问这些节点的
日志路径。
对于历史
日志，可能需要启动
Spark的历史服务器，并正确配置
spark.eventLog.enabled
和spark.eventLog.dir，这样即使应用结束后，用户还能通过历史服务器
查看之前的作业信息。同样，
YARN的历史服务器也需要配置，用于
查看更早的应用
日志。
可能还需要提到一些常见问题，比如权限问题，用户是否有权限访问
日志目录，或者
日志聚合是否延迟，导致刚完成的作业
日志还没聚合完成。此外，直接到各个NodeManager的本地
日志目录
查看也是一种
方法，但通常不推荐，因为
日志分散且可能被清理。
最后，总结一下步骤，分点列出，让用户能一步步操作，包括实时
日志查看、历史
日志配置、
日志定位技巧
和常见问题处理。这样结构清晰，用户容易理解。</think>
查看Spark on YARN的
日志主要分为以下步骤，我们从
日志生成机制到具体操作逐步说明：
---
### 一、
YARN日志聚合机制
YARN会将容器（C
ontainer）
日志（包括Driver
和Executor的stdout/stderr）集中存储在HDFS，需确保集群开启
日志聚合：
1. 检查 `
yarn-site.xml` 配置：
```xml
<property>
<name>
yarn.log
-aggregati
on-enable</name>
<value>true</value>
</property>
```
2.
日志默认保留时间（可调整）：
```xml
<property>
<name>
yarn.log
-aggregati
on.retain
-sec
onds</name>
<value>604800</value> <!
-- 7天
-->
</property>
```
---
### 二、
查看实时
日志
####
方法1：通过
YARN命令
1. 获取Applicati
on ID：
```bash
yarn applicati
on -list
-appStates RUNNING
```
2.
查看聚合
日志（作业完成后）：
```bash
yarn logs
-applicati
onId <applicati
on_id>
```
####
方法2：
Spark Web UI
1. 访问 `http://<driver
-node>:4040`（运行时有效）
2. 在 **Executors** 标签页中直接
查看各Executor的 `stdout/stderr`
---
### 三、定位特定容器
日志
1. 从
Spark UI获取失败任务信息：
- 任务失败时会显示 `Failed Tasks` 的 **C
ontainer ID**
2. 通过C
ontainer ID查询
日志：
```bash
yarn logs
-applicati
onId <app_id>
-c
ontainerId <c
ontainer_id>
```
---
### 四、
查看历史
日志
#### 1.
Spark历史服务器
需提前配置并启动服务：
```bash
# 配置
spark-defaults.c
onf
spark.eventLog.enabled true
spark.eventLog.dir hdfs:///
spark-logs
spark.history.fs.logDirectory hdfs:///
spark-logs
# 启动历史服务器
$
SPARK_HOME/sbin/start
-history
-server.sh
```
访问 `http://<history
-server>:18080`
#### 2.
YARN历史服务器
访问ResourceManager Web UI（默认 `http://<rm
-ip>:8088`），点击已完成作业的 **History** 链接。
---
### 五、关键
日志文件说明
| 文件类型 | 内容 | 路径示例（HDFS） |
|
-------------------|
--------------------------------|
--------------------------------------|
| **stdout** | 标准输出
日志 | /tmp/logs/<user>/logs/<applicati
on_id>/<c
ontainer_id>/stdout |
| **stderr** | 错误
日志 | 同上路径下的stderr |
| **
Spark driver
日志** | Driver进程的详细
日志 | 可通过 `
yarn logs
-applicati
onId` 获取 |
---
### 六、常见问题排查
1. **
日志未聚合**
检查NodeManager的 `
yarn.nodemanager.remote
-app
-log
-dir` 配置，确保有写入权限。
2. **
日志级别调整**
修改 `log4j2.properties`（
Spark 3.0+）：
```properties
rootLogger.level = ERROR
spark.appStateStore.asyncTracking.level = WARN
```
3. **直接访问节点本地
日志**
若未开启聚合，登录到对应NodeManager节点：
```bash
ls /var/log/hadoop
-yarn/c
ontainers/<applicati
on_id>
```
---
### 总结步骤
1. 通过 `
yarn logs
-applicati
onId` 获取聚合
日志
2. 结合
Spark Web UI定位具体失败任务
3. 长期监控需配置历史服务器
4. 关键配置检查：
日志聚合、保留时间、存储路径权限
超级会员免费看
本文介绍了如何在命令行通过YARN命令行工具查看Spark应用程序的日志和状态。步骤包括使用'yarn logs'命令获取日志以及'yarn application -status'命令检查应用状态，同时提到需在UI界面查找特定的appID。
订阅专栏 解锁全文
扫一扫
105
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
