完美解决Spark应用日志级别设置

一. 日志效率原因

 

开发时，控制台输出一大堆日志信息，严重影响查看日志效率。

 

从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properties日志文件。查看log4j-defaults.properties文件

由上图可知，Spark-core包设置默认的日志级别为info，所以我们才看到一大堆日志信i息。

那针对以上问题，在开发过程中我们如何解决？

 

针对spark所有应用，可以Java工程目录中新建/src/main/resources目录，把log4j.properties放置该目录。

 

 

很干净了。