Spark2.3.1在Idea控制台调整日志等级

最新推荐文章于 2024-02-23 17:23:01 发布

转载最新推荐文章于 2024-02-23 17:23:01 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://segmentfault.com/a/1190000016625377

文章标签：

#开发工具 #大数据 #scala

本文介绍如何在IntelliJ IDEA中调整Spark2.3.1的日志级别，通过设置特定包名的日志等级为ERROR，减少控制台输出，提高代码调试效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

`Spark2.3.1`在`Idea`控制台输出

Spark2.3.1在Idea 控制台输出时默认会打印INFO级别日志信息，在调试代码时会觉得日志太多，需要有方法调整输出的日志级别，只输出关注的日志即可

调整控制台日志输出级别

import org.apache.log4j.{Level, Logger}

# 所有org包名只输出ERROR级别的日志，如果导入其他包只需要再新创建一行写入包名即可
Logger.getLogger("org").setLevel(Level.ERROR)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34320724

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Spark 通过 spark-submit 设置日志级别

主要分享大数据相关的知识，如Spark、Hudi

11-16

1万+

Spark有多种方式设置日志级别，这次主要记录一下如何在spark-submit设置Spark的日志级别。1、如果在自己的测试集群上，直接修改$SPARK_HOME/conf下的log4j.properties即可2、如果在Eclipse里，将log4j.properties放在项目的src/main/resources即可3、如果在生产环境的集群，又不允许修改配置文件的话，用上面讲的spark-submit --conf 即可。...

大数据领域 Hive 与 Spark 的集成应用

最新发布

AI天才研究院

05-10

1026

随着企业数据量呈指数级增长，传统单一计算引擎已难以满足复杂的数据处理需求。Hive 作为基于 Hadoop 的分布式数据仓库，擅长离线批量数据处理和 SQL 语义支持；Spark 则以内存计算为核心，提供批处理、流处理、机器学习等统一计算框架。本文旨在解析两者集成的技术原理、实施路径及应用价值，覆盖从基础架构设计到性能优化的全流程，帮助读者掌握高效的数据处理解决方案。背景介绍：明确技术定位与读者对象核心概念与联系：剖析 Hive 与 Spark 的架构特征及集成逻辑核心集成原理与操作步骤。

参与评论您还未登录，请先登录后发表或查看评论

Spark 设置日志级别

houzhizhen的专栏

02-23

745

查看是否有文件 ${SPARK_HOME}/conf/log4j2.properties，如果没有，则执行以下创建 log4j2 配置文件。

Spark设置日志级别

jiangnianwangluo的博客

04-12

676

【代码】Spark设置日志级别。

Spark设置日志打印级别

Wolves_howl的博客

08-25

1546

spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/conf/下，将 log4j.properties.template 文件copy为 log4j.properties 来启用log4j配置。但这个配置为全局配置，不能单独配置某个job的运行日志。Spark-core包设置默认的日志级别为info。此时，在控制台调试spark程序就没有了INFO信息。一、修改Spark-core包默认的日志级别。

spark-client模式下，设置spark的日志级别

搬砖の隔壁老王

06-06

2451

# Set everything to be logged to the console log4j.rootCategory=WARN,console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.consol

flume+kafka+SparkStreaming实时日志分析+结果存储到MySQL

qq_55906442的博客

12-22

2504

目录一.说明二.flume 三.kafka 四.MySQL 五.IDEA写程序六.运行一.说明 1.1使用工具：IDEA，spark-2.1.0-bin-hadoop2.7，kafka_2.11-2.3.1，zookeeper-3.4.5，apache-flume-1.9.0-bin，jdk1.8.0_171 Scala版本：2.12.15 相关工具的安装请关注我的博客！ 1.2日志可以到这里下载：testlog7.log-spark文档类资源-优快云下载也可以用..

Spark-Core(二) - LogApp日志数据的解析&&Spark的运行架构

SparkOnYarn的博客

06-10

404

一、Spark-Core基础篇回顾二、Spark如何进行大数据的逻辑处理 2.1、入门代码遇到的一个简单错误 2.2、求得买个域名下的流量之和 2.3、每个省份访问次数的TopN（生产上边界值的处理）三、Spark的运行架构（重要指数五颗星） 3.1 总结 3.2 Cluster Mode Overview 一、Spark-Core基础篇回顾 1、为什么选择Spark？ Fast：10倍于disk磁盘、100倍于memory内存 Easy code：编码容易、交互式的命令行interactiv

MaxCompute Spark 使用和常见问题

数据库技术

01-12

2509

一. MaxCompute Spark 介绍 MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持用户以熟悉的开发使用方式提交运行Spark作业，以满足更丰富的数据处理分析场景。 1.1 关键特性支持原生多版本Spark作业社区原生Spark运行在MaxCompute里，完全兼容Spark的API，支持多个Spark版本同时运行统一的计算资源像MaxCompute SQL/MR等

Spark 教程（一）—— 基础解析（超详细）

西门催学不吹雪

05-25

4268

文章目录1. Spark 概述1.1 什么是 Spark1.2 Spark 内置模块1.3 Spark 特点1.4 Spark 的重要角色1.4.1 Driver（驱动器）1.4.2 Executor（执行器）1.5 Spark 官网2. Spark 运行模式2.1 Local 模式2.1.1 概述2.1.2 安装使用2.1.3 官方求 PI 案例2.1.4 WordCount 案例2.2 Standalone 模式2.2.1 概述2.2.2 安装使用 1. Spark 概述 1.1 什么是 Spark

spark大数据日志分析pom配置文件idea

09-28

spark 大数据日志分析项目所使用的配置文件，对应的编译器为idea2018社区版

Spark设置日志级别的三种方式, Spark-sumbit设置日志级别,修改Spark本地conf设置日志级别, IDEA中设置日志级别 17

热门推荐

啊策策大数据社区

07-21

1万+

1. Spark设置日志级别 前言 Spark有多种方式设置日志级别,这次主要记录一下如何在Spark-submit设置Spark日志级别,本文介绍三种方式需求因为Spark的日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多我不需要的日志信息都打印出来了，看起来比较乱，比较烦，抓不住重点，而我只想把warn和error打印...

Spark 3 设置日志级别详解

ByteHackerX的博客

08-31

679

在上面的示例中，我们将根日志级别设置为 INFO，这意味着只会输出 INFO 级别及以上的日志信息。例如，我们将 Apache Spark 包的日志级别设置为 DEBUG，这意味着会输出 DEBUG 级别及以上的日志信息。通过适当设置日志级别，我们可以控制 Spark 应用程序输出的日志信息的详细程度。通过以上两种方法之一，我们可以在 Spark 3 中设置日志级别。请注意，以上示例是使用 Scala 编程语言编写的，但类似的方法也适用于其他支持 Spark 的编程语言，如 Java 和 Python。

spark设置日志级别的4种方式

炼数成器

10-31

6353

建立用户画像首先需要建立数据仓库，用于存储用户标签数据。Hive是基于Hadoop的数据仓库工具，依赖于HDFS存储数据，提供的SQL语言可以查询存储在HDFS中的数据。开发时一般使用Hive作为数据仓库，存储标签和用户特征库等相关数据。 “数据仓库之父” W.H.Inmon 在《Building the Data Warehouse》一书中定义数据仓库是“一个面向主题的、集成的、非易失的、随时间变化的、用来支持管理人员决策的数据集合”。面向主题：业务数据库中的数据主要针对事务处理...

Spark3调整日志级别实现大数据分析

2301_79367634的博客

08-17

235

默认情况下，Spark的日志级别为INFO，这意味着除了DEBUG级别的日志信息外，其他所有级别的日志都会被打印输出。在实际场景中，我们经常需要调整Spark的日志输出级别，以便更好地控制日志信息的显示。需要注意的是，上述代码在示例中设置了两个Logger对象的日志级别，分别是"org"和"akka"。总结起来，通过设置Spark的日志输出级别，我们可以更好地控制日志信息的显示，提高大数据处理过程中的开发效率和调试能力。这样一来，除了ERROR和FATAL级别的日志信息外，其他级别的日志都不会被输出。

Idea中运行spark消除控制台的info日志输出的方法

weixin_30273931的博客

03-12

1528

这个样子看的很烦方法：找到自己的log4j.properties.template文件，把它放到项目的src/main/resources/下 log4j.properties.template的话，一般在spark的conf下面将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，...

解决Spark应用日志级别设置

kw-home

03-01

6868

spark日志输出级别

u012922485的博客

06-08

1424

1.终端修改在spark-shell或者pyspark终端下可使用下面命令来改变日志级别sc.setLogLevel("WARN") # 或者INFO等 2.修改日志设置文件通过调整日志的级别来控制输出的信息量.减少Spark Shell使用过程中在终端显示的日志切换当前路径到Spark安装路径拷贝一份日志设置文件的模板文件cp log4j.properties.template log4j.properties.template 找到下面一行内容log4j.rootCategory=I

完美解决Spark应用日志级别设置

大壮的博客

12-06

1926

一. 日志效率原因开发时，控制台输出一大堆日志信息，严重影响查看日志效率。从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properties日志文件。查看log4j-defaults.properties文件由上图可知，Spark-core包设置默认的日志级别为info，所以我们才看到一大堆日志信i息。 ...

Spark 2.3.1官方离线文档包及API下载指南

"spark2.3.1"标明了文档是针对Spark的2.3.1版本，这个版本在2018年发布，引入了许多新功能和改进。"docs"指文档，即对Spark系统及其API的详细说明。而"api"则特指应用程序编程接口（Application Programming ...

Spark2.3.1在Idea控制台调整日志等级

Spark2.3.1在Idea控制台输出

`Spark2.3.1`在`Idea`控制台输出