<think>好的，我现在需要解决用户关于如何使用
YARN查看历史
日志的问题。用户提到了
yarn logs命令，并且引用了一些相关的资料，我需要结合这些引用来整理出一个清晰的步骤指南。
首先，用户提供的引用中有提到使用
yarn logs -applicationId来
查看运行
日志，例如引用[1]中的
命令：
yarn logs -applicationId application_1660378737778_0001。这说明基本
命令结构是
yarn logs加上应用程序ID。这是关键的第一步，用户需要知道如何获取这个应用程序ID。
接下来，引用[4]提到可以通过
YARN的Web界面（比如hadoop103:8088）
查看作业状态，或者使用
命令行工具。用户可能需要先找到对应的应用程序ID，这时候可以使用
yarn application
-list
命令，如引用[2]中的例子，结合grep来筛选特定的作业。例如，
yarn application
-list | grep <word> 可以查找包含特定关键词的作业，这样用户就能快速找到需要的应用程序ID。
然后是关于
日志文件的存储位置。引用[3]指出物理
日志路径在/
yarn/container
-logs目录下，通常在某个节点（如cdh01）上。不过用户可能更关心如何通过
命令行访问这些
日志，而不是直接去文件系统查找。这时候，
yarn logs命令应该已经能够获取这些
日志内容，但用户可能需要了解参数来调整输出，比如
-containerId和
-nodeAddress，这在帮助文档中可能有说明，需要进一步确认。
用户的问题还包括参数说明和文件位置。
根据引用[3]，
日志存储在HDFS的/
yarn/container
-logs路径下，每个应用程序的容器
日志会分布在不同节点。不过，使用
yarn logs命令时，用户不需要手动去各个节点查找，因为该
命令会自动聚合
日志吗？或者
YARN的
日志聚合功能是否开启会影响
日志的存储位置和访问方式。如果聚合未开启，
日志可能分散在各个NodeManager的本地目录，而开启后则存储在HDFS中。因此，需要提醒用户确认集群是否启用了
日志聚合，这可能影响
日志的
查看方式。
此外，引用[4]提到可以通过
Yarn命令查看任务运行情况，比如提交WordCount作业后用
命令监控。这里可能需要补充说明如何启用
日志聚合，因为默认情况下可能未开启，导致无法通过
yarn logs获取历史
日志。例如，需要配置
yarn.log
-aggregation
-enable为true，并且设置
yarn.nodemanager.remote
-app
-log
-dir为HDFS路径，这样
日志才会被聚合到HDFS，之后才能通过
yarn logs查看。
用户可能需要了解如何
查看特定容器的
日志，这时候
-containerId和
-nodeAddress参数就派上用场了。例如，如果用户知道某个容器运行在特定节点上，可以使用这些参数直接获取
日志。但首先需要知道容器ID和节点地址，这可能需要通过ResourceManager的Web界面或
yarn application
-status <
applicationId>
命令来获取。
总结步骤应该是：
1. 获取应用程序ID：使用
yarn application
-list或Web界面。
2. 使用
yarn logs -applicationId <ID>
查看聚合后的
日志（如果启用聚合）。
3. 若需要特定容器
日志，使用
-containerId和
-nodeAddress参数。
4. 确认
日志聚合是否启用，否则需要到各节点本地目录查找。
同时，参数说明需要包括常用的选项，比如
-show_container_log_info显示容器信息，
-appOwner指定用户等。另外，
日志保存时间可能受集群配置限制，用户需注意
日志保留策略。
最后，用户可能需要示例
命令和注意事项，比如
日志文件的位置和权限问题，以及如何配置
日志聚合。需要将这些信息整理成清晰的步骤，并引用相关的参考资料，确保用户能够一步步操作。</think>### 如何用
YARN查看历史
日志的方法及
命令说明
#### 1.
查看历史
日志的核心
命令
使用`
yarn logs`
命令可直接
查看指定应用程序的聚合
日志，基本格式为：
```bash
yarn logs -applicationId <application_id>
```
例如：
```bash
yarn logs -applicationId application_1660378737778_0001
```
此
命令会输出该应用程序所有容器的汇总
日志（需集群启用
日志聚合功能）[^1][^4]。
#### 2. 关键参数说明
| 参数 | 作用 | 示例 |
|
------|
------|
------|
| `
-applicationId` | 指定应用程序ID（必填） | `
-applicationId application_xxx` |
| `
-containerId` | 过滤特定容器
日志 | `
-containerId container_xxx` |
| `
-nodeAddress` | 指定容器所在节点 | `
-nodeAddress hadoop103:8041` |
| `
-appOwner` | 指定应用程序所有者 | `
-appOwner user1` |
| `
-show_container_log_info` | 显示容器
日志元信息 | 添加该参数直接使用 |
#### 3. 操作步骤
**步骤1：获取应用程序ID**
- 通过Web界面访问`http://<resourcemanager_host>:8088`，在
YARN任务列表中查找目标应用ID。
- 或通过
命令行筛选：
```bash
yarn application
-list | grep "关键词"
```
例如查找包含"wordcount"的作业[^2][^4]。
**步骤2：
查看完整
日志**
```bash
yarn logs -applicationId application_xxx
```
**步骤3（可选）：
查看特定容器
日志**
1. 通过Web界面进入应用程序详情页，找到容器ID和所在节点。
2. 执行
命令：
```bash
yarn logs -applicationId application_xxx
-containerId container_xxx
-nodeAddress hadoop103:8041
```
#### 4.
日志文件存储位置
- **聚合
日志路径**：若集群启用
日志聚合，
日志存储在HDFS目录 `/
yarn/container
-logs` 下，按应用ID和容器ID组织[^3]。
- **本地
日志路径**：未启用聚合时，
日志分散在各NodeManager节点的本地目录（默认路径为 `$
YARN_HOME/
logs/user
logs`）。
#### 5. 注意事项
- **
日志聚合要求**：必须配置 `
yarn.log
-aggregation
-enable=true` 且作业完成后聚合需一定时间。
- **权限问题**：需具有应用程序所有者权限或
YARN管理员权限才能
查看完整
日志。
- **
日志保留时间**：由集群配置 `
yarn.log
-aggregation.retain
-seconds` 决定，超时后自动删除。
YARN日志聚合配置
本文介绍如何通过YARN进行日志聚合设置的方法。具体步骤包括进入Hadoop-YARN的bin目录并使用yarn logs命令指定applicationId来开启日志聚合。
扫一扫
2335
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
