Scala-Object屏蔽日志

最新推荐文章于 2022-09-16 17:31:48 发布
原创 最新推荐文章于 2022-09-16 17:31:48 发布 · 469 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何在Spark环境中使用Scala-Object修改日志级别，通过调整log4j.properties文件，将日志输出从INFO更改为ERROR，以减少不必要的日志信息输出。

Scala-Object屏蔽日志

进入虚拟机，用工具 Xftp 找到Spark目录下的文件/opt/bigdata/spark240/conflog4j.properties.template
在这里插入图片描述
将该文件拖到本地，重命名删除后缀
在这里插入图片描述
将重命名后的文件拉入到 IDEA 的resource目录中（resource目录为静态的，设置如下）
在这里插入图片描述
在这里插入图片描述
在IDEA 中打开改文件
Ctrl+R快捷键将所有的INFO替换为ERROR

安装sbt利用开发工具IntelliJ IDEA编写Spark应用程序（Scala+SBT）参考林子雨教程
m0_68165821的博客
05-27 2943
备注：这里需要注意，在Intellij Idea启动时，会执行“extracting project structure from sbt”的操作，也就是把sbt所需要的项目结构从远程服务器拉取到本地，在本地会生成sbt所需要的项目结构。sbt需要下载安装，可以访问“http://www.scala-sbt.org”下载安装文件sbt-1.3.8.tgz，保存到下载目录。我们点击Install，就会开始下载安装插件，安装完成后，我们点击Restart IDE，重启后，就可以显示中文的IDEA界面了。
scala中屏蔽不必要的日志
enjoy
08-27 909
Scala学习日志（1.5）——自适应类型
WRM的博客
08-01 1353
码字不易，转发请注明出处：http://blog.youkuaiyun.com/qq_28945021/article/details/52087381 自适应类型在使用scala开发时。程序员们会惊喜的发现在大多数情况下他们再也无需提供冗余的类型信息。这可以节省很多的开发成本。而能令程序员有这点便捷。归功于Scala优秀类型推演。在使用scala时，我们可以很轻松的写下如下代码。val one :Int= 1
idea去掉spark的日志
前方的路在刚开始
08-04 2046
尤其是这2个，要删除，否则会导致你设置的log4j.proerpties失效。1.直接在代码里设置日志级别，包含直接类中添加，和使用继承类（不推荐）spark默认会答应info，信息，他内置有log4j。3.添加log4j.prperties。创建一个这样的文件，名称也要一样。2.修改他的全局配置（不推荐）故，我们有3种方式解决。...
IntelliJ IDEA Spark程序本地模式运行消除日志输出INFO信息
SunWuKong_Hadoop的博客
10-12 2099
方法一： 修改log4j.properties.template文件名为log4j.properties，并修改内容： log4j.rootCategory=INFO, console 改成 log4j.rootCategory=ERROR, console 或 log4j.rootCategory=WARN, console 只显示ERROR级别的日志。 方法二： 将方法一拷贝出来的文...
[转]Spark如何设置不打印INFO日志
Buevara的博客
07-23 7015
方法1：在配置文件中修改 cd $SPARK_HOME/conf ## 查看是否存在 log4j.properties ## 如果没有，则 cp log4j.properties.template log4j.properties vi log4j.properties ##然后，修改下面的这一个行： log4j.rootCategory=INFO, console ##改成： log4j.rootCategory=WARN, console 或者(按个人需求) log4j.rootCateg
scala object运行后有很多info，找不到结果
05-07
好的，我现在需要帮助用户解决如何减少Scala对象运行时的日志输出，特别是屏蔽不必要的info日志。根据用户的问题和提供的引用，我需要结合之前的回答和现有的引用内容来给出有效的解决方案。 首先，用户提到参考了...
Stringmask：Scala案例类字段屏蔽的微型库解析
object Main extends App { val user = User("Alice", "123 Main St.", 30) println(user.toString) // 输出: User(name=***, address=***, age=***) } ``` 在这个例子中，`@Masked`注解被用来告诉stringmask库在...
使用scala编写spark任务出现 2025-11-21 08:34:20,549 INFO com.aliyun.odps.cupid.CupidSession - refresh odps object 2025-11-21 08:44:20,550 INFO com.aliyun.odps.cupid.CupidSession - refresh odps object
最新发布
11-22
用户提到在使用Scala编写Spark任务时，日志中出现了“refresh odps object”的INFO信息，想要知道原因及解决办法。 首先，我们需要分析这个日志信息的来源和含义： 1. “odps”指的是阿里云的MaxCompute（原名...
在阿里云使用scala编写spark任务后使用了spark.sql获取了odps数据，stderr一直出现- refresh odps object
06-25
</think>### 解决阿里云 Spark Scala 任务中 "refresh odps object" 日志问题 当在 Spark on MaxCompute (ODPS) 任务中使用 `spark.sql` 查询数据时，stderr 持续出现 "refresh odps object" 日志，这是 ODPS 连接...
屏蔽掉Linux上运行Spark（Python版）时的多余信息（INFO）
ZMC2822846684的博客
09-16 1361
屏蔽掉Linux上运行Spark（Python版）时的多余信息（INFO），scala应该也是一样的吧（没试过）
Eclipse中禁止Console DDMS打印的方法（真的可以关闭自动弹出！）
AZZ的博客
09-15 5155
最烦的就是测试，用Logcat专心致志地追着打印的时候，Console居然还不停地捣乱！一直疯狂地弹弹弹！火都冒出来的。忍它好多次了！这次下决心灭了它！结果百度搜“禁止Eclipse Console打印”，问得人不多，看来只有我经常被困扰啊。最后几乎搜到了一个一致的答案，一个11年的解决办法。种种迹象表明，这个方法一定很靠谱！于是我欣喜地打开自己的Console设置，发现我早就取消了！我的内心几乎是
Scala IDE:setLogLevel后还是无法屏蔽信息的问题
weixin_51979487的博客
01-11 585
setLogLevel后运行程序还是很多INFO信息 spark.sparkContext.setLogLevel("ERROR") 链接：https://pan.baidu.com/s/1Q4aKMVQhBERvmkO-9wT60w 提取码：xyet 下载这个log4j.properties后直接放到eclipse_scala的文件夹下就可以了
Eclipse 设置控制台不打印包名+类型+@+地址
09-18 856
有时候我们需要打印对象查查看是否有误，但是通常情况下的打印是包名+类型+@+地址，即是这样的原因是是因为在打印的时候，会默认调用对象的toString()方法，如何toString()没有被重写，那么就是上面这样的。这里教大家怎么快速设置而不用一行一行代码重写toString()。在相应的类上面右键->Source->toSting()接下来选择要打印哪些东西，一般默认打印字段即可点击OK，会发现在
eclipse输出框怎么屏蔽日志_浅谈常见的日志框架
weixin_31735943的博客
12-24 579
1.日志框架比较2.默认情况下，Spring Boot会用Logback来记录日志，并用INFO级别输出到控制台配置的Logback的文件appilcation.yml (配置简单，功能简单)logback-spring.xml (配置复杂，功能强大)依赖： org.springframework.boot spring-boot-starter-loggingspring...
Eclipse全屏调试时，如何屏蔽控制台console弹出骚扰！！！
不积跬步，无以至千里。
08-04 7120
Eclipse的控制台console有时候经常的跳出来，非常的烦人! 尤其是在调试期间跳出，以下是分享一下设置操作：  让它不经常的调出来，可以按下面的操作去掉它：  windows  ->   preferences   ->  run/debug   ->   console  在右边面板去掉"Show when program writest to standar
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值