调整spark-sql控制台日志输出级别

最新推荐文章于 2023-08-25 15:58:03 发布
最新推荐文章于 2023-08-25 15:58:03 发布
阅读量5.2k 收藏 6
点赞数 2
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jiezou12138/article/details/88876960
版权
本文介绍了如何解决Spark SQL操作时产生大量INFO日志的问题，提供了修改$SPARK_HOME/conf/log4j.properties模板文件以及在IDEA中调整log4j.defaults.properties日志级别为WARN的方法，以减少查看结果时的干扰。同时提到了可以根据需要在程序中单独设置日志级别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题：

每次spark-sql操作都会打印大量的INFO信息，这样我们查看结果就会很麻烦，

解决：

调整Spark日志级别的配置文件是在$SPARK_HOME/conf/目录下的log4j.properties.template，默认级别是INFO

将log4j.properties.template复制一份

cp log4j.properties.template log4j.properties

进入log4j.properties修改输出到console的日志级别：

 

在IDEA中解决该问题：

在spark--core中有一个log4j.defaults.properties中默认的日志级别时INFO，可通过双击shift，然后搜索进行查

最低0.47元/天 解锁文章
Spark 3 设置日志级别详解
ByteHackerX的博客
08-31 635
在上面的示例中，我们将根日志级别设置为 INFO，这意味着只会输出 INFO 级别及以上的日志信息。例如，我们将 Apache Spark 包的日志级别设置为 DEBUG，这意味着会输出 DEBUG 级别及以上的日志信息。通过适当设置日志级别，我们可以控制 Spark 应用程序输出的日志信息的详细程度。通过以上两种方法之一，我们可以在 Spark 3 中设置日志级别。请注意，以上示例是使用 Scala 编程语言编写的，但类似的方法也适用于其他支持 Spark 的编程语言，如 Java 和 Python。
spark-sql 控制台修改日志级别
qingumeng4466的博客
01-22 5031
spark-sql 控制台修改日志级别这个我找了好久的解决方法 修改文件 conf/log4j.properties # Set everything to be logged to the console log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender
Spark调整日志输出等级
chandelierds的博客
04-10 1181
现象 在跑Spark程序时，会输出很多INFO信息，看着很杂乱，可以通过调整输出日志等级避免输出INFO信息 具体步骤： 1）到Spark根目录的conf文件夹下，找到log4j.properties.template文件； 2）复制上述文件，并改文件格式为log4j.properties； 3）打开新文件，将log4j.rootCategory=INFO, console中的INFO改为WARN或者ERROR，保存退出； 4）将文件log4j.properties复制到IDEA项目src/main/
spark-sql 手动动态指定控制台输出日志级别
窗外的屋檐
04-18 979
登录服务器客户端 把spark/conf/log4j.properties.template 复制到A用户根目录 (改名为log4j.properties)，修改其中的一行为log4j.rootCategory=WARN, console 启动spark-sql spark-sql--conf"spark.driver.extraJavaOptions=-Dlog...
spark-sql手动动态指定控制台输出日志级别
那又怎样？的博客
08-08 3041
转载来自：https://blog.youkuaiyun.com/xueba207/article/details/50436684/ 搜了很多，还是这个靠谱，记录下 （1）首先配置好spark，hadoop，hive的权限，然后来到A用户，配置好环境变量 （2）把spark/conf/log4j.properties.template 复制到A用户家目录（改名为log4j.properties），修改...
spark编程09——设置spark-submit提交程序时不在控制台打印日志信息+nohup 命令
SYITwin的博客
04-08 3904
在用spark-submit提交程序时，会打印很多类似图片所示的日志信息，它们会把想要的结果给淹没，所以要想法去除控制台的日志信息。 解决办法：程序中设置日志级别，然后将运行结果保存在nohup.out文件中 //程序中导入 import org.apache.log4j.{Level, Logger} //下面两行代码放在main函数里 Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogge..
Spark SQL案例：计算平均分
weixin_54425212的博客
06-18 250
SQL案例：计算平均分
IDEA 本地开发 Spark Streming 日志输出太多影响查看输出 INFO改为ERRO
huonan_123的博客
11-16 2015
IDEA 开发Spark Streaming 修改控制台日志输出级别 INFO 为 ERRO
大数据技术之(一) Spark-Core
痞子磊的博客
07-07 1216
第1章 Spark 概述 1.Spark是什么 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 2.Spark and Hadoop 在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架 Spark 呢，这里就不得不提到Spark 和Hadoop 的关系。 首先从时间节点上来看: Hadoop 2006 年 1 月，Doug Cutting 加入Yahoo，领导Hadoop 的开发 2008 年 ..
Spark设置日志打印级别
最新发布
Wolves_howl的博客
08-25 1469
spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/conf/下，将 log4j.properties.template 文件copy为 log4j.properties 来启用log4j配置。但这个配置为全局配置，不能单独配置某个job的运行日志。Spark-core包设置默认的日志级别为info。此时，在控制台调试spark程序就没有了INFO信息。一、修改Spark-core包默认的日志级别。
Spark日志，及设置日志输出级别
爱是与世界平行
08-14 5115
import org.apache.log4j.{ Level, Logger } Logger.getLogger("org").setLevel(Level.WARN) Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogger("org.eclipse.jetty.server").setLeve...
完美解决Spark应用日志级别设置
热门推荐
if(true){ I love it }
06-01 4万+
最近在研究Spark的相关知识，本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。 一. 日志效率原因 开发时，控制台输出一大堆日志信息，严重影响查看日志效率。 从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properties日志文件。查看log4j-defaults.properties文件 由上图可知，Spark-core包设置默认的日志级别为info，所以我们才看到一大堆日志信i息。 那针对以上问题，在开发过程中我
Spark修改控制台日志级别
Running_Tiger的博客
07-26 3166
Spark修改控制台日志级别一、修改conf/log4j.properties二、重启集群 INFO日志过多不易于观察错误和执行结果，需要调整日志输出级别。 一、修改conf/log4j.properties cp log4j.properties.template log4j.properties vi log4j.properties log4j.rootCategory=INFO, co...
Spark之SparkSQL
肖肖的博客
02-26 1239
1、SparkSQL介绍 Hive是shark的前身，Shark是SparkSQL的前身，SparkSQL产生的根本原因是为了完全脱离Hive的限制。 2、SparkSQL 创建 DataFrame 的方式 在使用SparkSQL时Scala2.0+的版本创建的方式 val session: SparkSession = SparkSession .builder() .appName(“test”) .enableHiveSupport() .getOrCreate() session.sparkCont
【spark】控制日志输出的方法
hyj
09-07 7729
【spark】控制日志输出的方法
Spark 指定日志级别
大怀特的博客
03-04 1846
文章目录方法1(n)方法2(n)方法3(n)方法4(n)方法5(y) 环境:spark2.4.8 方法1(n) 按官方文档上来说只需要修改spark运行环境中log4j.property模板改log4j.propert文件,再修改其中级别即可用,实际上无效 方法2(n) import org.apache.log4j.{Level, Logger} Logger.getLogger("org").setLevel(Level.WARN) 方法3(n) import org.apache.spark.s
SparkSQL 学习笔记
十二的博客
07-28 732
Spark SQL概述 1.1 什么是Spark SQL Spark SQL是spark用于结构化数据处理的Spark模块 1.2 为什么要有Spark SQL 1.3 Spark SQL原理 1.3.1 什么是DataFrame 1）DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。 2）DataFrame与RDD的主要区别在于，前者带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。 左侧的RDD[Person]虽然以Person为
spark设置日志级别的4种方式
炼数成器
10-31 6271
建立用户画像首先需要建立数据仓库，用于存储用户标签数据。Hive是基于Hadoop的数据仓库工具，依赖于HDFS存储数据，提供的SQL语言可以查询存储在HDFS中的数据。开发时一般使用Hive作为数据仓库，存储标签和用户特征库等相关数据。 “数据仓库之父” W.H.Inmon 在《Building the Data Warehouse》一书中定义数据仓库是“一个面向主题的、集成的、非易失的、随时间变化的、用来支持管理人员决策的数据集合”。 面向主题：业务数据库中的数据主要针对事务处理...
Spark设置日志级别
jiangnianwangluo的博客
04-12 650
【代码】Spark设置日志级别。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值