[Spark--编码]--如何设置日志的打印级别

最新推荐文章于 2022-10-19 10:33:17 发布
原创 最新推荐文章于 2022-10-19 10:33:17 发布 · 1.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了三种设置Spark日志级别的方法：通过配置文件、在代码中设置以及在代码中使用代理设置。经测试，最推荐的方式是结合使用配置文件和代码中使用代理设置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

以下三种方式可以选择有一种，但就经测试，最靠谱的方式是第三种结合第一种使用。

1、通过配置文件


#log4j.rootLogger=WARN,console
log4j.rootLogger=DEBUG, stdout
# console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.encoding=utf-8
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern =%-d{yyyy-MM-dd HH:mm:ss} [ %t:%r ] - [ %p ] %l %m%n

2、代码中设置

val sc: SparkContext = new SparkContext(sparkConf)
sc.setLogLevel("WARN")
//sc.setLogLevel("DEBUG")
//sc.setLogLevel("ERROR")
//sc.setLogLevel("INFO")

3、代码中使用代理设置

import org.apache.log4j.Logger

Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)

Logger.getLogger("org.apache.hadoop").setLevel(Level.ERROR)

Logger.getLogger("org.apache.zookeeper").setLevel(Level.WARN)

Logger.getLogger("org.apache.hive").setLevel(Level.WARN)

[Spark版本更新]--Spark-2.4.0 发布说明
欢迎来到我的博客，一起探索代码里的世界！
11-09 6919
2018-11-02 Apache Spark 官方发布了 2.4.0版本，以下是 Release Notes，供参考：  Sub-task [ SPARK-6236 ] - 支持大于2G的缓存块 [ SPARK-6237 ] - 支持上传块> 2GB作为流 [ SPARK-10884 ] - 支持针对回归和分类相关模型的单实例预测 [ SPARK-11239 ] - 用于ML线性...
设置打印级别日志调试
09-25
调试示例代码：全局的开关，日志输出需要优先级控制，通过重定义的方式，将所有的日志输出指令定义到合适的输出路径，当需要修改输出路径的时候，只要修改重定义的部分即可。
Spark Executor端日志打印的方法
Sunny的专栏
10-19 3832
大数据平台采用yarn client模式提交spark 任务，并且多个离线Spark作业共用一个Driver，好处便在于——节省提交任务的时间。但同时也加大了运维工作的难度，因为任务日志打印到同一个文件中。为了区分开各个业务流程的日志，平台引入了log4j2 RoutingAppender，配置如下所示： 最近数据开发部门在使用大数据平台的二次开发算子时，反馈说平台提供的Logger对象打印不出日志，抱着好奇的心态，研究了一下平台使用的日志框架。其实平台提供的Logger对象打印在executor端打印
spark中打印gc日志的方法
lxlneversettle的博客
05-01 3448
spark中打印gc日志的方法 在使用spark-submit提交应用的时候，加上下面的参数 ---conf "spark.executor.extraJavaOptions=-verbose:gc -XX:+PrintGCDetails" 上面是开启executor上gc信息的打印，如果想要打印driver上的gc信息，更换为下面的参数 --conf "spark.driver.extraJ...
【spark】控制日志输出的方法
hyj
09-07 7886
【spark】控制日志输出的方法
JAVA代码如何设置SPARK的日志打印级别
wumiqing1的博客
12-19 3079
问题场景：在使用spark sql 增加where条件过滤时，会出现打印很多的被过滤掉的记录（几十万条），导致跑spark sql 特别慢！ var df2 = sqc.sql("SELECT * FROM T_COMMISIONRATEDEF WHERE T_INSURANCETYPE = '630' ORDER BY T_INSURANCETYPE DESC " ) 执行时，打印截
[Spark版本升级]-- spark-2.2.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
07-18 6776
Spark-2.2.0版本发行时间：2017-7-11   一、Jira说明： https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12338275   子任务 [ SPARK-1267 ] - 添加PySpark的pip安装程序 [ SPARK-3249 ] - ...
[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
[Spark优化]--spark-1.6.0调优指南
欢迎来到我的博客，一起探索代码里的世界！
02-25 879
Spark优化数据序列化内存调整内存管理概述确定内存消耗调整数据结构序列化RDD存储垃圾回收调整其他考虑事项并行度水平内存使用减少任务广播大变量数据本地化总结由于大多数Spark计算的内存性质，Spark程序可能会受到群集中任何资源（CPU，网络带宽或内存）的瓶颈。大多数情况下，如果数据在内存中，瓶颈就是网络带宽，但有时候，您还需要进行一些调整，例如 以序列化形式存储RDD，以减少内存使用量。本指...
spark 日志级别设置为ERROR
干货
04-19 1万+
想只显示ERROR日志。 方式1 代码里设置 val sc = new SparkContext(conf) sc.setLogLevel("ERROR") 这个启动时，仍然会有月一些其他日志. 方式2 log4j.properties文件设置 1.新建一个resource目录，在文件夹上右击，mark as reources root。 2.新建一个log4j.properties...
spark脚本日志输出级别设置
weixin_33901641的博客
12-05 301
import org.apache.log4j.{ Level, Logger } Logger.getLogger("org").setLevel(Level.WARN) Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogger("org.eclipse.jetty.server").setLeve...
完美解决Spark应用日志级别设置
热门推荐
if(true){ I love it }
06-01 4万+
最近在研究Spark的相关知识，本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。 一. 日志效率原因 开发时，控制台输出一大堆日志信息，严重影响查看日志效率。 从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properties日志文件。查看log4j-defaults.properties文件 由上图可知，Spark-core包设置默认的日志级别为info，所以我们才看到一大堆日志信i息。 那针对以上问题，在开发过程中我
Spark提交任务参数详解
SunnyRivers
08-26 2649
先看官网提供的两个提交例子（只看集群模式） # Run on a Spark standalone cluster in cluster deploy mode with supervise ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://207.184.161.138:7...
spark 开发中log4j详解与配置步骤
06-12 9124
1 环境 <properties> <scala.version>2.11.8</scala.version> <spark.version>2.2.0</spark.version> <hadoop.version>2.6.0-cdh5.7.0</hadoop.version>
spark的logDebug模式设置
hj8380的专栏
12-21 6016
spark采用的是log4j输出运行日志，为了获取spark运行中的日志信息，可以在$SPARK_HOME的conf目录下， 比如输出spark.storage package的debug运行日志，设置如下： # Set everything to be logged to the console log4j.rootCategory=INFO, console log4j
使用log4j.properties解决MR和Spark控制台爆红的问题（不影响代码实现）
Null的博客
08-01 1015
1.能解决以下问题 spark程序运行时候如下所示效果 MR车灯徐运行时如下所示效果 2.解决办法 新建一个log4j.properties文件 复制下面的代码 # # # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. ...
Spark系列---sql详解
lipviolet的博客
03-06 1636
object _06SparkSQLAndCoreTest { def main(args: Array[String]): Unit = { Logger.getLogger("org.apach...
【scala】设置打印等级
alexliu2360的专栏
09-28 655
spark运行的时候会产生大量的消息，让程序的运行结果看起来比较费劲 所以可以再程序中添加一些代码，设置一下输出日志的级别 import org.apache.log4j.{Level, Logger} object Example { Logger.getLogger("org").setLevel(Level.ERROR) def main(args: Array[String]) { ...... } } 代码中Level那里的参数，可以设置为WARN，或者ERROR，这个
Spark插件spark-excel实现Excel文件高效读取
spark-excel插件正是为了解决这个问题而生，它允许用户直接在Spark中读取和处理Excel文件，极大地提高了数据处理的效率和便捷性。 ### 知识点一：Apache Spark概述 Apache Spark是一个开源的分布式计算系统，最初...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值