spark-client模式下,设置spark的日志级别

本文主要介绍了在Spark运行于Yarn-client模式时如何设置日志级别。在Yarn-client模式下,Driver运行在本地客户端,而Executor在Yarn container中运行。为解决客户端模式下的日志问题,可以通过修改log.properties模板文件并将其放置在项目路径下,来定制Spark的日志配置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

搭建spark on yarn 的环境支持两种模式
1)yarn-cluster:适用于生产环境;
2)yarn-client:适用于交互、调试,希望立即看到app的输出

由于自己遇到的是yarn-client 模式下的问题,记录一下
首先下说明一下,spark-client的Yarn-client模式下作业执行流程:
Yarn-client模式下作业执行流程

  1. 客户端生成作业信息提交给ResourceManager(RM)
  2. RM在本地NodeManager启动container并将Application Master(AM)分配给该NodeManager(NM)
  3. NM接收到RM的分配,启动Application Master并初始化作业,此时这个NM就称为Driver
  4. Application向RM申请资源,分配资源同时通知其他NodeManager启动相应的Executor
  5. Executor向本地启动的Application Master注册汇报并完成相应的任务
    Yarn-client
    在Yarn-client中,Application Master仅仅从Yarn中申请资源给Executor,之后client会跟container通信进行作业的调度,下图是Yarn-client模式
    在这里插
    由此图可以看出,spark在client模式下启动后,application中的Driver(驱动程序)是运行在本地的,Application中的Executor
    是在yarn中的container中运行。
    接下来说的是spark的日志设置
    spark的conf目录中有个log.properties.template文件,修改为log.properties然后放在项目的路径下,
# Set ever
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值