解决spark运行时控制台打印冗杂的INFO（屏蔽掉无用的INFO）

最新推荐文章于 2024-03-23 13:47:29 发布
最新推荐文章于 2024-03-23 13:47:29 发布
阅读量4.6k 收藏 5
点赞数 4
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： SparkSql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40068214/article/details/91892259
在使用Spark和Hive整合后启动SparkSql时，控制台打印出大量冗余信息，影响阅读体验。本文介绍如何通过修改log4j.properties文件来减少SparkSql的日志输出，使控制台信息更加清晰。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天在spark和hive整合完后启动SparkSql的时候控制台打印出了好多冗余的信息看起来特别不爽

就一个 show databases； 却打印出来这么多信息，让我着实不大容易找到我想要的信息呀

解决方案：1. 进入$SPARK_HOME/conf目录下，拷贝一个log4j.properties.template，命名为log4j.properties

修改成功后打印 show databases;

 

是不是清爽了好多

如何在Spark-shell中停止打印INFO日志
Lestat.Z.的博客
04-02 3045
文章目录前言解决方法- 使用自定义的Log4j.properties- 在代码中控制 前言 在使用Spark-shell做一些测试时候会产生大量无用的INFO级别的日志，因此想把它们给禁用掉。具体方法如下。 解决方法 - 使用自定义的Log4j.properties log4j.rootLogger=ERROR, console # set the log level for these com...
1_Java基础概述
Art_Dillon
01-18 748
Java基础是学习JavaEE、大数据、Android开发 的基石！
屏蔽掉Linux上运行Spark（Python版）时的多余信息（INFO）
ZMC2822846684的博客
09-16 1316
屏蔽掉Linux上运行Spark（Python版）时的多余信息（INFO），scala应该也是一样的吧（没试过）
[转]Spark如何设置不打印INFO日志
Buevara的博客
07-23 6890
方法1：在配置文件中修改 cd $SPARK_HOME/conf ## 查看是否存在 log4j.properties ## 如果没有，则 cp log4j.properties.template log4j.properties vi log4j.properties ##然后，修改下面的这一个行： log4j.rootCategory=INFO, console ##改成： log4j.rootCategory=WARN, console 或者(按个人需求) log4j.rootCateg
如何屏蔽掉Spark程序中INFO信息--------特好用！！！！！！！
liangsir
01-18 5712
把spark安装包里的conf文件夹里的log4j.properties.templat拷贝到项目scr主目录main下的resources里面 然后把log4j.properties.templat 改名为log4j.properties 最后修改里面的内容： 将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERR...
【Spark】【设置】关闭INFO提示
萌狼蓝天の技术栈
10-29 1496
目的：关闭INFO提示 方法：通过修改配置文件实现 操作文件：Hadoop/conf/log4j.properties.template 操作1：复制模板文件使用 cp $SPARK_HOME/conf/log4j.properties.template $SPARK_HOME/conf/log4j.properties 操作2：修改配置文件 将配置文件中的 log4j.rootCategor...
【JavaSE 知识框架】01 Java语言概述
woailuo8214的博客
11-06 460
【Java语言概述】 ｛软件开发介绍｝｛计算机编程语言介绍｝ ｛Java语言基础｝｛Java语言的运行机制和运行过程｝｛Java语言的环境搭建｝｛Java程序中的注释方式｝ ｛Java API文档｝｛Java的编程风格｝ ｛常用的Java开发工具｝
02尚硅谷宋红康Java视频笔记之语言概述
yanwuxie_的博客
11-06 2643
Java基础是学习JavaEE、大数据、Android开发 的基石! I Java基础知识图解 Java基础课程体系 1.1 软件开发介绍 软件开发 软件，即一系列按照特定顺序组织的计算机数据和指令的集合。有系统软件和应用软件之分。 人机交互方式 >图形化界面(Graphical User Interface GUl)这种方式简单直观，使用者易于接受，容易上手操作。 >命令行方式(Command Line Interface CLI):需要有一个控制台，输入特定的指令，让计算机完成
Java基础----Java编程语言概述
Hebert
04-05 4205
Java基础----Java编程语言概述 文章目录Java基础----Java编程语言概述Java编程语言概述1-1 软件开发介绍1.1软件开发介绍1.2 常用命令1-2 计算机编程语言介绍1.从java语言的市场需求来看1-3 Java语言概述1.3.1 概述1.3.2 Java简史1.3.3 Java技术体系平台1.3.4 Java在各领域的应用1.3.5 Java语言的诞生1.3.6 主要特...
SeaTunnel 在 oppo 的特征平台实践 | ETL 平台数据处理集成
weixin_66005343的博客
03-25 3580
SeaTunnel 在 oppo 的特征平台实践 | ETL 平台数据处理集成
去掉spark中打印的INFO信息
amazing_Code的博客
04-08 1574
将spark安装包中一个文件复制到项目的main/resources目录下 ，将名称改为log4j.properties 如下所示： 打开该文件，将第一行中的INFO改为ERROR 以后运行spark程序将不会有info信息打印了 ...
idea写spark程序时过滤掉INFO信息
qq_42400267的博客
12-17 970
编写spark程序时，INFO信息导致过多 导致输出非常不好找，因此给他过滤掉 方法一： 在代码中加入 val spark = SparkSession.builder().appName("xx").master("local").getOrCreate() val sc = spark.sparkContext sc.setLogLevel("ERROR")//log中只会出现error级别的...
Spark测试代码时，去掉无用的日志
weixin_38051945的博客
03-31 766
废话不多说 import org.apache.log4j.{Level, Logger} import org.apache.spark.internal.Logging object SomeTest extends App with Logging { Logger.getRootLogger.setLevel(Level.WARN) } 继承Logging 这样打印的就是我...
笔记--Spark中运行INFO怎么去掉？
ohMyGodSun的博客
10-17 721
在spark的安装目录下的conf目录里，把log4j文件copy到项目的src文件夹下面。 把后缀template去掉 log4j.rootCategory=INFO, console 改为 log4j.rootCategory=ERROR, console
Spark通过修改日志文件信息显示级别来避免其他信息的干扰
哇咔咔哇咔的博客
03-23 728
Spark修改日志信息级别
将SPARK启动和运行时的一些INFO信息过滤掉
sunzz679的专栏
11-23 7109
我们在每次启动和运行SPARK时，会出现大量的INFO信息，一些WARN和ERROR信息隐藏在其中，这可能会被我们忽略掉，同时对阅读造成了很多不便，所有可以将这些不太重要的信息过滤掉。方法是： 1. 进入$SPARK_HOME/conf目录下，拷贝一个log4j.properties.template，命名为log4j.properties，可以使用下面的语句完成： $ cp log4j.pr
修改spark日志配置
光与热的博客
08-16 1705
在测试Spark计算时，将作业提交到yarn（模式–master yarn-cluster）上，想查看print到控制台这是imposible的，因为作业是提交到yarn的集群上，so 去yarn集群上看日志是很麻烦的，但有特别想看下print的信息，方便调试或者别的目的 在Spark的conf目录下，把log4j.properties.template修改为log4j.properties，原来的
Spark设置日志打印级别
Wolves_howl的博客
08-25 1540
spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/conf/下，将 log4j.properties.template 文件copy为 log4j.properties 来启用log4j配置。但这个配置为全局配置，不能单独配置某个job的运行日志。Spark-core包设置默认的日志级别为info。此时，在控制台调试spark程序就没有了INFO信息。一、修改Spark-core包默认的日志级别。
log4j文件
FreedomZzzzz的博客
11-21 445
在resources中 log4j.properties # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for addition...
idea 中运行spark 控制台日志信息太多，如何配置减少打印在日志台上
最新发布
03-20
好的，我现在要解决的问题是用户询问如何在IntelliJ IDEA中配置Spark以减少控制台日志输出。首先，我需要回忆一下Spark和日志相关的配置知识。记得Spark使用Log4j来管理日志，所以调整日志级别应该和Log4j的配置文件...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值