spark-streaming 日志修改问题

最新推荐文章于 2023-09-15 16:27:41 发布
最新推荐文章于 2023-09-15 16:27:41 发布
阅读量525 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wode979982272/article/details/104424909
本文详细介绍了在Spark Streaming中遇到的日志级别无法调整的问题及解决方法。作者发现由于工程中引入了Storm的jar包，导致日志配置被Storm的log4j2.xml覆盖。最终通过将log4j2.xml复制到工程的resources目录下，成功修改了日志级别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在使用spark-streaming中需要修改到日志，百度到的答案大部分是通过

ssc.sparkContext.setLogLevel("DEBUG")

来修改日志级别 但是怎么尝试都不生效;我的工程中引入过storm的jar 最终通过追踪代码看到 

org.apache.logging.log4j.core.Logger 引用了storm-core-1.2.3.jar中的log4j2.xml配置文件

通过断点查看context对象可以看到实际引用;那么对应的要修改日志级别只要把log4j2.xml拷贝要工程的resources目录下，就可以正常修改日志级别了

 

SparkStreaming流式日志过滤与分析
05-30
记得自己要引入环境 （1）利用SparkStreaming从文件目录读入日志信息，日志内容包含： ”日志级别、函数名、日志内容“ 三个字段，字段之间以空格拆分。请看数据源的文件。 （2）对读入都日志信息流进行指定筛选出日志级别为error或warn的，并输出到外部MySQL中。 需要用到的函数 （1）输入采用textFileStream()算子 （2）输出采用foreachRDD()算子 （3）将RDD转为DataFrame （4）DataFrame注册为临时表，使用SQL过滤 （5）将过滤后的数据保存到MySQL
SparkStreaming设置日志级别
wdlily_com的博客
01-23 3669
代码中设置SparkStreaming的输出日志级别 val conf = new SparkConf().setAppName("Future").setMaster("local[2]") val ssc = new StreamingContext(conf, Seconds(5)) ssc.sparkContext.setLogLevel("WARN") ...
SparkStreaming-日志的等级的设置
窗外的屋檐
05-23 2115
我们在构建项目的时候日志等级设置是很有必要，日志太多太乱会直接影响我们的判读，SparkStreaming由于是流式处理日志会更加的多。 1、屏蔽系统日志 //请注意是apache.log4j不是org.slf4j import org.apache.log4j.{Level, Logger} // 屏蔽不必要的日志 ,在终端上显示需要的日志 Logger.getLogger("...
sparkstreaming日志切分配置
Jacob
04-02 1411
在Spark Standalone模式下，spark默认使用org/apache/spark/log4j-defaults.properties配置，所有的日志都记录在stderr里面，由于Spark Streaming应用程序是一直运行的，时间长了以后stderr文件会非常大，占用空间的同时难以让我们调试和定位问题，所以我们需要切分日志，spark原生提供了对Executor日志的切分，Driv...
升级 spark 2.4问题：Spark Streaming日志级别设置，最小堆内存设置
onway_goahead的博客
10-07 566
一、内存问题 1、旧集群 spark 1.6.1 jdk 1.7 或 1.8 jvm 堆内存分配，直接分配的为driver申请的内存（最大、最小堆内存相等） 2、新集群 spark 2.4.1 jdk 1.8 jvm 堆内存...
升级 spark 2.3问题：Spark Streaming日志级别设置，最小堆内存设置
T_Janey
12-03 1514
一、内存问题     1、旧集群             spark 1.6.1             jdk 1.7 或 1.8             jvm 堆内存分配，直接分配的为driver申请的内存（最大、最小堆内存相等）     2、新集群             spark 2.3.             jdk 1.8             jvm 堆内存分...
20天学习Spark（5）之Streaming+kafka实现用户实时日志
洒家
04-30 539
一篇学会如何在生产环境下使用kafka+SpringBoot+sparkStreaming对用户日常行为进行大数据分析处理 注意：本文适用于已经掌握基础java框架想学习大数据的开发者 建议收藏，否则容易找不到 之前的文章中streaming处理的数据主要用于学习streaming的一些基础使用，在实际生产环境下还是需要使用专门的日志收集。 kafka&&zookeeper下载地址：https://download.youkuaiyun.com/download/lihao1107156171/18.
【Spark问题记录】抑制spark在控制台输出的日志，使用log4j.properties不生效
最新发布
RAMBLERS_的博客
09-15 809
由于有部分配置显示的是灰色，所以考虑是文件没有生效，在尝试了将log4j.properties改名到log4j.propertie再改回log4j.properties后发现配置信息都能显示成橙色，再次运行程序，发现日志信息已经不会显示了。但是在文件中，只有前5行是橙色的，其他的都是灰色的，是不是意味着灰色部分的设置没有起作用？为了抑制spark程序运行时在控制台输出的大量日志信息,我在main目录下的resources创建了。
sparkstream重启+删除任务日志
窦永厚
06-21 293
sparkstream定时清除日志和重启
Spark定制班第28课：在集成开发环境中详解Spark Streaming的运行日志内幕
andyshar的博客
06-24 749
本期内容： 1. Spark Streaming日志 2. Spark Streaming在IDE中的日志分析  WordCountLine 15秒钟的时间间隔 日志中ForeachDStream先打印。 SocketInputDStream storage level false,false,false,false,1 但StorageLevel： remembe
SpringBoot设置恶心的日志(sparkstreaming和spark)
qq_18453581的博客
10-29 797
最新解决方法,简单好用:springboot设置 logging: level: org.apache: warn 叨逼叨: SpringBoot整合sparkstreaming,如果只打印info的日志我也就忍了,spark,netty,sparkstreaming的debug的日志,甚至心跳日志也丧心病狂的打印,然后就是疯狂刷日志,想看点有用的信息真的难,如果没有异常,我看...
在运行SparkStreaming程序时为了更好的看到结果，打印更少的日志文件
weixin_43866709的博客
04-07 1378
在运行SparkStreaming程序时，总是会产生很多的日志，这会影响到查看运行的结果，读取的数据准不准确。那么我们可以让他打印很少的日志内容。 解决办法就是在resources中添加一个文件（这里使用的是maven项目），文件中添加如下内容： log4j.properties Global logging configuration log4j.rootLogger=WARN, stdo...
Spark日志级别设置
阿瞒的博客
06-06 6858
在运行spark程序的时候,有很多info的消息,一是看着很烦,而是让人找不到我们需要的结果,所以很有必要设置一下log的级别,在初学spark的时候,都是直接在sparkcontext.setloglevel,但是我发现并没有用,即使是在本地运行都没用,所以上网查了别的方法,发现很有用,就是重新创建一个log4j.properties文件,然后将其中的日志级别改为WARN,然后就可以了.具体的实...
完美解决Spark应用日志级别设置
热门推荐
if(true){ I love it }
06-01 4万+
最近在研究Spark的相关知识，本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。 一. 日志效率原因 开发时，控制台输出一大堆日志信息，严重影响查看日志效率。 从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properties日志文件。查看log4j-defaults.properties文件 由上图可知，Spark-core包设置默认的日志级别为info，所以我们才看到一大堆日志信i息。 那针对以上问题，在开发过程中我
springboot动态调整日志级别-LoggingSystem
阅微草堂
09-14 2341
在日常项目开发中，排查问题，通常第一步是根据日志定位问题，故而，我们总是会在关键节点，尽可能多的输出日志，但是一旦系统上线，大量的日志输出，明显会影响系统的性能。 通常，我们知道可以调整日志级别，在线上用更高的日志级别（info warn error），但是变更日志级别，总是需要重新发版，如果能动态调整日志级别，并实时生效，这不失为一个不错的办法。 由此，springboot的LoggingSystem可以解决这个问题。具体用法如下： @Autowired pri...
apollo log配置不生效
yanlinpu的博客
03-21 1046
apollo 配置log level 并自动刷新 logging: level: root: info 日志工具类 package net.yanlp.util; import ch.qos.logback.classic.Level; import ch.qos.logback.classic.LoggerContext; import com.ctrip.framework.apollo.model.ConfigChange; import com.ctrip.framework.apo
解决Spark应用日志级别设置
kw-home
03-01 6863
最近在研究Spark的相关知识，本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。一. 日志效率原因开发时，控制台输出一大堆日志信息，严重影响查看日志效率。从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properties日志文件。查看log4j-defaults.properties文件由上图可知，Spark-cor...
Spark 通过 spark-submit 设置日志级别
主要分享大数据相关的知识，如Spark、Hudi
11-16 1万+
Spark有多种方式设置日志级别，这次主要记录一下如何在spark-submit设置Spark的日志级别。1、如果在自己的测试集群上，直接修改$SPARK_HOME/conf下的log4j.properties即可2、如果在Eclipse里，将log4j.properties放在项目的src/main/resources即可3、如果在生产环境的集群，又不允许修改配置文件的话，用上面讲的spark-submit --conf 即可。...
spark修改日志级别
longwei92的博客
06-17 3012
通过SparkSession进行设置 val spark = SparkSession .builder() .appName("AWSMMonitorInfo") .enableHiveSupport() .config("hive.exec.dynamic.partition", true) // 支持 Hive 动态分区 .conf...
Spark-Streaming流处理实践教程及源码分析
通过Spark-Streaming，用户能够创建复杂的算法来处理实时数据流，如社交媒体数据、机器日志、传感器数据等。 知识点三：项目结构与运行条件 该资源中的项目代码是经过测试验证的，能够成功运行。项目运行的基本要求...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值