Flink Logback日志与邮件报警配置

最新推荐文章于 2024-01-28 19:54:19 发布

原创最新推荐文章于 2024-01-28 19:54:19 发布 · 1.6k 阅读

7 ·

CC 4.0 BY-SA版权

Flink 专栏收录该内容

44 篇文章

订阅专栏

本文详述了如何在Flink项目中将日志框架从Log4j切换至Logback，包括添加依赖、排除冲突、配置日志滚动及邮件报警等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

短文模式继续。

Flink官方推荐使用Logback替代默认的Log4j作为日志框架。我们之前一直用Log4j，最近切换成了更优秀的Logback，但是配置起来略有点麻烦，本文简述配置过程。

在项目POM中加入Logback的依赖项：logback-core、logback-classic，以及log4j-over-slf4j（因为Flink依赖于Hadoop，Hadoop却直接使用Log4j输出日志，所以需要用log4j-over-slf4j将其桥接到Slf4j与Logback）。

  <properties>
    <logback.version>1.2.3</logback.version>
    <log4j-over-slf4j.version>1.7.25</log4j-over-slf4j.version>
  </properties>

  <dependencies>
    <dependency>
      <groupId>ch.qos.logback</groupId>
      <artifactId>logback-core</artifactId>
      <version>${logback.version}</version>
    </dependency>

    <dependency>
      <groupId>ch.qos.logback</groupId>
      <artifactId>logback-classic</artifactId>
      <version>${logback.version}</version>
    </dependency>

    <dependency>
      <groupId>org.slf4j</groupId>
      <artifactId>log4j-over-slf4j</artifactId>
      <version>${log4j-over-slf4j.version}</version>
    </dependency>
  </dependencies>

在所有Flink依赖项中，排除log4j的传递依赖与Log4j-Slf4j的桥接。否则Flink还是会使用Log4j，后面的配置就白费了。

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-java</artifactId>
      <version>${flink.version}</version>
      <exclusions>
        <exclusion>
          <groupId>log4j</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.slf4j</groupId>
          <artifactId>slf4j-log4j12</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-streaming-java_${scala.bin.version}</artifactId>
      <version>${flink.version}</version>
      <exclusions>
        <exclusion>
          <groupId>log4j</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.slf4j</groupId>
          <artifactId>slf4j-log4j12</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

从Flink安装目录的lib目录中删掉log4j与slf4j-log4j12的JAR包，并加入logback-core、logback-classic、log4j-over-slf4j的JAR包。
修改Flink的conf目录下的默认Logback配置文件，一共有三个：logback.xml是JobManager和TaskManager的日志配置，Standalone和YARN模式都适用；logback-console.xml是Flink命令行客户端的日志配置，只在本地模式适用；logback-yarn.xml则是on YARN Session模式下的日志配置。
我们修改logback.xml，将其配置为按天滚动的文件日志（Appender为RollingFileAppender），防止持续写同一个日志文件造成大小膨胀，代码如下。

  <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <file>${log.file}</file>

    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
      <fileNamePattern>${log.file}.%d{yyyy-MM-dd}.%i</fileNamePattern>
      <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
        <maxFileSize>64MB</maxFileSize>
      </timeBasedFileNamingAndTriggeringPolicy>
      <maxHistory>10</maxHistory>
    </rollingPolicy>

    <encoder>
      <charset>UTF-8</charset>
      <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{60} %X{sourceThread} - %msg%n</pattern>
    </encoder>
  </appender>

我们还可以利用Logback提供的SMTPAppender将指定级别的日志发送到邮箱，在没有专门的日志监控体系（如ELK）时，能够起到一定的替代作用，代码如下。

  <appender name="email" class="ch.qos.logback.classic.net.SMTPAppender">
    <smtpHost>smtp.163.com</smtpHost>
    <smtpPort>25</smtpPort>
    <username>some_username</username>
    <password>some_password</password>

    <to>lmagics@lmagics.net</to>
    <from>my_flink@163.com</from>
    <subject>Flink Error Log</subject>

    <asynchronousSending>false</asynchronousSending>
    <SSL>false</SSL>
    <STARTTLS>true</STARTTLS>

    <layout class="ch.qos.logback.classic.html.HTMLLayout">
      <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{60} %X{sourceThread} - %msg%n</pattern>
    </layout>

    <filter class="ch.qos.logback.classic.filter.LevelFilter">
      <level>ERROR</level>
    </filter>

    <cyclicBufferTracker class="ch.qos.logback.core.spi.CyclicBufferTracker">
      <bufferSize>50</bufferSize>
    </cyclicBufferTracker>
  </appender>

另外还需要将发送邮件依赖的mail.jar放在lib目录下，最后别忘了在<root>标签下加上新的Appender：

  <root level="INFO">
    <appender-ref ref="file"/>
    <appender-ref ref="email"/>
  </root>

大功告成，民那晚安。