spark on yarn webUI logs不能查看

本文介绍如何在YARN集群中正确配置日志监控功能,包括启用日志聚合、设置日志服务地址等步骤,确保用户能通过YARN Web界面查看任务日志。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

执行spark on yarn 执行:./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 1G --num-executors 3  ./lib/spark-examples-1.6.3-hadoop2.6.0.jar 10  命令执行成功后在yarn 资源管理界面查看不了logs

参考博客:https://blog.youkuaiyun.com/lisongjia123/article/details/78639058

问题描述

在yarn上跑一个hadoop任务时,通过yarn的web管理后台(serveraddress:8088)想查看该任务的的任务时,发现提示如下错误:

Java.lang.Exception:Unknown container.Container either has not started or has already completed or doesn;t belong to this node at all.



参考博客给出的解放方法

下来查询官方文档后,才了解到yarn的日志监控功能默认是处于关闭状态的,需要我们进行开启,开启步骤如下:

Ps:下面配置的文件的位置在hadoop根目录 etc/haddop文件夹下,比较老版本的Hadoop是在hadoop根目录下的conf文件夹中

一、在yarn-site.xml文件中添加日志监控支持

该配置中添加下面的配置:

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

二、在mapred-site.xml文件中添加日志服务的配置

该配置文件中添加如下配置:

<property>
    <!-- 表示提交到hadoop中的任务采用yarn来运行,要是已经有该配置则无需重复配置 -->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
  <!--日志监控服务的地址,一般填写为nodenode机器地址 -->
    <name>mapreduce.jobhistroy.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapreduce.jobhistroy.webapp.address</name>
    <value>master:19888</value>
</property>

三、将修改后的配置文件拷贝到集群中的其他机器(单机版hadoop可以跳过该步骤)

快捷一点可以使用 scp 命令将配置文件拷贝覆盖到其他机器

scp yarn-site.xml skyler@slave1:/hadoopdir/etc/hadoop/

scp mapred-site.xml skyler@slave1:/hadoopdir/etc/hadoop/

…其他datanode机器同理

四、重新启动集群的Hdfs和Yarn服务

在namenode机器上分别对hdfs和yarn服务进行重启

bin/stop-dfs.sh

bin/start-dfs.sh

bin/stop-yarn.sh

bin/start-yarn.sh

五、 开启日志监控服务进程

在nodenode机器上执行 sbin/mr-jobhistory-daemon.sh start historyserver 命令,执行完成后使用jps命令查看是否启动成功,若启动成功则会显示出JobHistoryServer服务 

这里写图片描述

以上内容执行后log 日志还是不能不来:

后来参考博客:https://blog.youkuaiyun.com/u012037852/article/details/71405054

在yarn-site 中添加了这个超链接就OK 了

</property>
<property>
<name>yarn.log.server.url</name>
<value>http://centos11:19888/jobhistory/logs/</value>

</property>



<think>嗯,我现在要配置Spark on YARN,但是我对这个过程还不是很熟悉。让我先回忆一下之前学过的相关知识,然后一步步理清楚应该怎么做。首先,Spark on YARN是什么意思呢?我记得YARN是Hadoop的资源管理系统,而Spark作为一个计算框架,可以运行在YARN上,这样就能利用YARN的资源管理功能,不需要Spark自己来管理集群资源了。对吧? 那配置Spark on YARN的前提条件应该有哪些呢?首先,肯定需要安装好Hadoop,并且YARN已经正确配置和运行。可能还需要确保Hadoop的版本和Spark兼容。然后,Spark本身也需要安装好,对吗?另外,可能需要设置一些环境变量,比如HADOOP_CONF_DIR或者YARN_CONF_DIR,让Spark知道YARN的配置文件在哪里。这部分我记得不太清楚,可能需要查文档确认。 接下来,具体的配置步骤可能包括修改Spark的配置文件,比如spark-defaults.conf,或者在提交应用时通过命令行参数指定。例如,设置spark.master为yarn,这样Spark就知道要连接到YARN集群。对吗?另外,可能需要配置一些资源参数,比如executor的内存、核心数等,这些参数可以通过Spark的配置项或者提交任务时指定。 用户提到的配置,可能需要关注几个关键点:首先是Hadoop配置的集成,然后是Spark本身的配置,还有资源分配和调优的参数。可能还需要考虑权限问题,比如用户是否有权限在YARN上提交应用,或者HDFS的访问权限等。另外,网络配置是否正确,比如各个节点之间能否互相通信,端口是否开放,这些也可能影响Spark on YARN的运行。 有没有可能遇到常见的问题呢?比如Spark应用提交到YARN后,无法申请到资源,或者Executor启动失败。这时候可能需要查看YARN日志,或者Spark日志,排查具体原因。例如,资源不足,配置错误,或者类路径问题。比如,有时候需要把Spark的依赖包上传到HDFS,或者在YARN的配置中指定,这样NodeManager能够找到这些依赖。 再想想具体的步骤,可能需要这样: 1. 确保Hadoop YARN已经正确安装和配置,并且正在运行。 2. 下载并安装Spark,解压到合适的目录。 3. 配置环境变量,比如在spark-env.sh中设置HADOOP_CONF_DIR或YARN_CONF_DIR,指向Hadoop的配置文件目录。 4. 在Spark的配置文件spark-defaults.conf中设置spark.master为yarn。 5. 可能需要配置Spark的执行参数,比如spark.executor.memory,spark.executor.cores等。 6. 将应用提交到YARN集群,使用spark-submit命令,并指定deploy-mode为cluster或者client。 还有,不同的部署模式(cluster vs client)有什么区别呢?Cluster模式下,Driver运行在YARN的Application Master中,而Client模式下,Driver运行在提交任务的客户端机器上。这可能影响到日志查看和应用的稳定性,比如如果客户端断开连接,Client模式的应用可能会失败。 另外,关于Spark on YARN的资源分配,YARN负责管理资源,所以需要正确设置Spark的资源参数,使其不超过YARN集群的总资源。例如,每个executor的内存不能超过YARN容器允许的最大值,否则会被拒绝。可能需要调整YARN的配置参数,比如yarn.scheduler.maximum-allocation-mb,yarn.nodemanager.resource.memory-mb等,以适应Spark的需求。 还有,可能需要注意Spark的依赖问题。当Spark应用提交到YARN时,需要确保所有的依赖包都能被YARN的NodeManager访问到。可以通过--jars参数指定额外的jar包,或者将依赖打包到应用的jar文件中。另外,可能需要设置spark.yarn.jars或spark.yarn.archive,将Spark的库上传到HDFS,这样每次提交应用时不需要重复上传,节省时间。 现在,有没有遗漏的步骤或者配置项?比如,安全方面的配置,比如Kerberos认证,如果Hadoop集群启用了安全模式,那么Spark提交任务时需要进行相应的认证处理。这时候可能需要使用keytab文件或者kinit命令获取凭证。 再检查一下,Spark on YARN的两种模式:client和cluster。在配置的时候,是否需要特别指定?是的,在spark-submit的时候,需要设置--deploy-mode参数为cluster或者client,默认是client吗?还是需要显式指定? 总结一下,配置Spark on YARN的主要步骤包括: 1. 安装和配置Hadoop YARN。 2. 安装Spark并配置环境变量指向YARN的配置。 3. 调整Spark的配置参数以适应YARN集群的资源管理。 4. 确保依赖项和资源文件正确上传和访问。 5. 使用spark-submit提交应用,并选择合适的部署模式。 可能还需要验证配置是否正确,比如运行一个简单的Spark应用,比如计算Pi的示例,看看是否能成功在YARN上执行。如果失败,查看日志,比如YARN的Application Master日志,或者Spark日志,找出错误原因进行调整。 比如,如果出现类找不到的问题,可能需要检查spark.yarn.jars是否正确配置,或者是否将必要的jar包上传到了HDFS。如果资源不足,可能需要调整YARN的资源分配参数或者Spark的executor配置。 现在,我应该把这些步骤整理成一个清晰的指南,帮助用户一步步配置Spark on YARN,同时提醒常见的配置项和可能遇到的问题。</think>### Spark on YARN 配置指南 #### 一、核心概念 Spark on YARN 允许 Spark 应用程序利用 YARN(Hadoop 资源管理器)进行资源调度,无需独立部署 Spark 集群。其优势包括: - **资源共享**:与其他 Hadoop 任务(如 MapReduce)共享资源。 - **简化运维**:复用 YARN 的监控、容错和安全机制。 #### 二、前提条件 1. **Hadoop 环境**:已部署 Hadoop(2.x+)且 YARN 正常运行。 2. **Spark 安装**:下载并解压 Spark(需与 Hadoop 版本兼容)。 3. **配置权限**:确保提交任务的用户具有 YARN 队列权限和 HDFS 读写权限。 #### 三、关键配置步骤 ##### 1. **配置 Hadoop 环境变量** 在 Spark 的 `conf/spark-env.sh` 中设置 Hadoop 配置路径: ```bash export HADOOP_CONF_DIR=/path/to/hadoop/etc/hadoop # 指向 Hadoop 配置文件目录 export YARN_CONF_DIR=/path/to/hadoop/etc/hadoop # 同 HADOOP_CONF_DIR ``` ##### 2. **修改 Spark 默认配置** 在 `conf/spark-defaults.conf` 中指定 YARN 模式: ```properties spark.master=yarn spark.yarn.jars=hdfs:///spark-jars/*.jar # 将 Spark 依赖上传至 HDFS(可选但推荐) ``` ##### 3. **资源参数调优** 根据集群资源调整参数(示例): ```properties spark.executor.memory=4g # 每个 Executor 内存 spark.executor.cores=2 # 每个 Executor 使用的 CPU 核心 spark.driver.memory=2g # Driver 内存(Cluster 模式下由 YARN 管理) ``` ##### 4. **提交 Spark 应用** 使用 `spark-submit` 提交任务时需指定部署模式: ```bash spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ # 或 client --executor-memory 2g \ --num-executors 4 \ /path/to/spark-examples.jar ``` #### 四、部署模式对比 | **模式** | **Driver 运行位置** | **适用场景** | |------------|-------------------------------|--------------------------| | **Client** | 提交任务的客户端机器 | 调试(日志直接输出到终端) | | **Cluster**| YARN Application Master(AM) | 生产环境(高可用性) | #### 五、常见问题与解决 1. **资源申请失败** - **原因**:YARN 资源不足或参数超限。 - **解决**: - 检查 `yarn.nodemanager.resource.memory-mb` 和 `yarn.scheduler.maximum-allocation-mb`。 - 调低 `spark.executor.memory` 或 `spark.executor.cores`。 2. **依赖缺失** - **现象**:`ClassNotFoundException`。 - **解决**: - 通过 `--jars` 添加额外依赖: ```bash spark-submit --jars /path/to/dependency.jar ... ``` - 或预上传 Spark 依赖到 HDFS: ```bash hdfs dfs -put $SPARK_HOME/jars/*.jar /spark-jars/ ``` 3. **Kerberos 认证问题** - **现象**:任务因权限失败。 - **解决**: - 使用 `kinit` 提前获取凭证: ```bash kinit -kt /path/to/user.keytab user@REALM ``` - 或在 `spark-submit` 中添加参数: ```bash --principal user@REALM --keytab /path/to/user.keytab ``` #### 六、验证配置 运行测试任务(如计算 Pi): ```bash spark-submit \ --master yarn \ --deploy-mode client \ $SPARK_HOME/examples/jars/spark-examples.jar 100 ``` 观察 YARN Web UI(默认 `http://<ResourceManager>:8088`)确认任务状态。 #### 七、高级配置(可选) - **动态资源分配**: 在 `spark-defaults.conf` 中启用: ```properties spark.dynamicAllocation.enabled=true spark.shuffle.service.enabled=true ``` - **日志聚合**: 确保 YARN 的 `yarn.log-aggregation-enable` 设为 `true`,通过 `yarn logs -applicationId <appId>` 查看日志。 通过以上步骤,您应能完成 Spark on YARN 的基础配置和调优。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

利剑 -~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值