SpringBoot整合ELK8.1.x实现日志中心教程

原创

已于 2024-04-10 10:40:26 修改 · 1.5k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#spring boot #java #elk #skywalking #云原生 #zookeeper

于 2024-04-03 11:09:43 首次发布

本文围绕Spring Boot整合ELK搭建日志中心展开。先介绍环境准备与安装，涉及JDK、Elasticsearch、zookeeper等。接着阐述解决方案场景，包括日志采集、缓冲、分析、存储和查看等步骤，详细说明了各环节的配置与操作，为搭建日志中心提供了完整方案。

1.1.1 创建logback-spring.xml文件

1.1.2 创建LoggerFactory

1.1.3 trace日志的记录用法

1.1.4 dap-trace日志的记录用法

背景

最近公司需要把产品中用到的组件做一下升级，从6.x升级到8.x，本人负责做升级，搞完之后一顿空虚，感觉总少点什么没完成，没错，忘记写点什么了，因此记录下从应用产生日志、filebeat收集日志、发送日志到kafka、logstash完成对日志的结构整理、最终入库es完整链路的方案以及一些配置的说明，希望能帮助到有需求的童鞋们，如果是入门的童鞋，照着本教程一步一步来的话，不出意外的话肯定是能手搓出一套ELK的日志中心的方案出来的；整理不易，望诸君高台贵手，点赞支持。

环境准备

应用：Springboot、Springcloud应用，版本不限

jvm：1.8、17，因为从es8.0.x之后就不支持jdk1.8.x了，本文选的版本是8.1.x，所以需要准备jdk17的环境，但是有些组件还是不能够支持17，因此还需要1.8的环境，具体支持下面会做详细介绍

filebeat、logstash、elasticsearch：8.1.2

filebeat下载地址：Past Releases of Elastic Stack Software | Elastichttps://www.elastic.co/cn/downloads/past-releases#filebeat

logstash下载地址：Past Releases of Elastic Stack Software | Elastichttps://www.elastic.co/downloads/past-releases#logstash

es下载地址：Past Releases of Elastic Stack Software | Elastichttps://www.elastic.co/downloads/past-releases#elasticsearch

kafka：2.5.1；filebeat8.1.2支持的版本是0.8.2.0 and 2.6.0之间的所有版本，因此选择的版本是2.5.1，也就是2.6.0之前的最后一个release版本，具体支持的详细说明请移步官网介绍：Configure the Kafka output | Filebeat Reference [8.12] | Elastic

下载地址：Apache Kafka

zookeeper：2.5.8，kafka2.5.1对应的zk版本就是2.5.8，如何通过kafka确定zk的对应版本，本人有个方式：去官网下载Kafka的源码：以-src.tgz结尾的就是源码，下载完之后解压，打开解压目录下的/gradle目录，然后打开dependencies.gradle文件，然后搜索zookeeper，你就会看到有个配置如下："zookeeper":"2.5.8" 这个就是当前kafka版本对应的zk的版本。

zookeeper下载地址：Index of /dist/zookeeper (apache.org) 注意：下载-bin.tar.gz结尾的文件，这个是编译好的介质，不带-bin的是源码，需要自己编译。

sky walking：9.3.0 为什么选择这个版本，因为从9.3.0开始才支持es8.x，之前的版本都只能支持最高到7.x，因此选择这个版本，当然也可以选择更高的版本，本文选择的是9.3.0版本。

下载地址：Downloads | Apache SkyWalking

自此所需要的介质以及对应版本都ok了，接下来就开始安装服务了，先从es开始安装，因为它是最底层环节，别人都需要靠它才能完成最终安装。

环境安装

1.JDK安装

官网下载jdk17，小版本随意，下载完之后上传至服务器，或者直接用wget命令也行，随意

解压完之后，按照如下命令进行全局变量配置

vim /etc/profile
export JAVA_HOME=/usr/lib/jdk17/jdk-17.0.10
export CLASSPATH=.:$JAVA_HOME/lib/
export PATH=.:$JAVA_HOME/bin:$PATH
# 生效
source  /etc/profile

2.安装Elasticsearch

先新建一个用户（出于安全考虑，elasticsearch默认不允许以root账号运行）

# 创建组
groupadd es
# 创建用户
useradd -m -g es es
# 设置密码 如果提示密码过于简单或少于8个字符则可将密码设置的复杂一点
passwd es

新建目录/opt/elk/es,然后上传介质并解压到指定目录 tar -zxvf elasticsearch-8.1.2-linux-x86_64.tar.gz -C /opt/elk/es

解压后目录结构如下：

修改Elasticsearch配置文件文件路径{安装位置}/config/elasticsearch.yml，8.1.2默认是开启了ssl的，所以如果关闭则需要在配置文件中关闭，具体配置如下：

xpack.security.enabled:  false
xpack.security.transport.ssl.enabled: false
xpack.security.http.ssl.enabled: false

# 修改es的ip地址
network.host：{安装机器IP}
node.name: node-1
cluster.initial_master_nodes: ["node-1"]

如果需要开启ssl则只需要配置下面三个配置即可，接下来就是JVM参数的调优，因为es比较吃cpu和内存，如果你的机器够大，建议设置一下jvm的参数，在{安装位置}/config/jvm.options文件中，增加：

-Xms10g
-Xmx10g

启动Elasticsearch

# 进入bin目录
cd  {安装位置}/bin
# 启动Elasticsearch
./elasticsearch -d

验证：访问ip:9200 看到如下返回，则启动成功，到此es初步安装完成，后面等所有环境安装完成之后还会根据业务场景对ELK各组件进行设置调整

3.安装zookeeper

注：2.5.8版本的zk还不支持jdk17，因此zk以及后面的kafka都不能安装在jdk17的环境下，本人选择的是jdk1.8，因此童鞋们注意下。

tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz 解压介质，解压完之后是这样

解压完之后进入到{解压目录}/conf目录

cd {安装目录}/conf
#修改conf目录下的zoo_sample.cfg 改成zoo.cfg  
mv zoo_sample.cfg zoo.cfg
#修改dataDir配置为自定义目录
vi zoo.cfg

启动zookeeper，进入zookeeper/bin目录

我的建议是不要配置环境变量，因为zookeeper本来就是个特定场景下的组件，感觉没什么必要配置全局环境变量，我看很多博主都是直接告诉人家配置全部变量，没必要

# 启动
sh zkServer.sh start
# 查看状态
sh zkServer.sh status
#停止
sh zkServer.sh stop

执行查看状态，能看到下面信息则表示启动成功

Mode: standalone

4.安装Kafka

Kafka一样，2.5.1同样不支持jdk17(3.1.0开始才支持jdk17)，本文选择的是jdk1.8

tar -zxvf kafka_2.12-2.5.1.tgz 解压完之后，进行配置修改

# 编辑{安装位置}/config/server.properties文件
# 修改server.properties文件中以下内容，配置kafka监听端口及ip地址
listeners=PLAINTEXT://{安装机器IP}:9092
advertised.listeners=PLAINTEXT://{安装机器IP}:9092
# 修改zookeeper地址
zookeeper.connect=127.0.0.1:2181/kafka
#修改日志文件路径
log.dirs=/tmp/kafka-logs

启动kafka

#进入kafka/bin目录，执行以下命令
nohup sh kafka-server-start.sh -daemon ../config/server.properties >>/dev/null 2>&1 &

5.安装logstash

注意，8.1.x版本的logstash需jdk17的环节；直接解压介质

tar -zxvf logstash-8.1.2-linux-x86_64.tar.gz

到此安装已经完成了，哈哈，当然是开玩笑的，如果仅仅是安装，确实已经完成了，但是离我们想要的logstash还差一步：配置，具体配置请参考下面的日志分析章节，这里就不重复介绍了

6.安装file beat

file beat同logstash一样，这里暂时跳过，因为filebeat的配置要紧密结合业务来做对应配置的，所以等后面节合场景来具体说明

解决方案场景

本文所解决的业务场景就是：采集各应用产生的本地日志数据，进行汇总，可以进行应用日志查看，检索，链路分析，大致分为这几个步骤：1.日志采集；2.日志缓冲；3.分析日志；4.日志存储；5.日志查看。

1.日志采集

这章节的重点不是讲如何开发一个spring boot应用，而且从实际场景出发，一个真实的应用所产生的不同类型的日志是如何被file beat采集到的，从而完成日志中心的第一步：日志采集。

1.1 应用日志配置

在实际应用开发中，一个应用所产生的日志可能根据业务需求或者场景会分为很多种，需要记录的日志也随之有很多种，比如：应用程序本身日志-sys.log,应用的跟踪日志-trace.log，应用的sql日志-sql.log等等，这些日志根据类型不同所记录的日志内容肯定也是不一样的，那我们首先要做的第一步就是制定这些日志的格式，以便我们可以根据日志类型在后续logstash里面通过一系列filter生成不通的message和属性，最终生成不同的es索引存储在es中，方便我们做查询，当前这些都是后话，我们先把第一步搞定。

在这里，我们就假设应用需要生成3种类型日志，分别是：

app-sys.log：应用系统日志，记录程序本身的一些日志，包括spring框架、正常代码中自己记录的一些logger、异常等等信息

app-trace.log：应用内部service之间调用关系跟踪日志，记录service内部method的调用、出参入参等，方便查看应用本身的调用逻辑，以便能快速定位问题

app-dap-trace.log：微服务之间的调用日志，记录每个应用之间的调用，以便能查看一个业务场景的整个调用链，能快速知悉业务具体涉及的应用等。

根据这三种类型日志，那么就需要设计对应的日志记录的信息结构，那么我就根据日志的不通性质来定义一些通用的一些属性。当然，在实际开发中，每个人每个公司都有自己的业务，肯定跟着自己的业务来定，我这里只是做一个demo仅供参考。

既然设计已经初步完成了，那么接下来就是怎么实现了；在spring里面通常大家都是用logback来作为日志框架，那么我们就用logback来举例如何生成这三种类型的日志。

1.1.1 创建logback-spring.xml文件

logback文件主要是用来定义每个日志的结构、策略等等，在这里我就不对log back文件做详细的标签介绍了，以下logback-spring.xml 可直接复制即用，只需要修改里面的某些东西即可，具体见如下代码：

<?xml version="1.0" encoding="UTF-8"?>

<configuration>

    <!-- Spring 自身日志配置 对应APP-SYS -->
    <springProperty scope="context" name="appCode" source="spring.application.name" defaultValue=""/>
    <springProperty scope="context" name="appInstId" source="application.app-inst-id" defaultValue=""/>
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
    <conversionRule conversionWord="wex"
                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
    <conversionRule conversionWord="wEx"
                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>

    <property name="APP_LOG_PATTERN_CONSOLE"
              value="${APP_LOG_PATTERN_CONSOLE:-%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}} %5p [${appCode:-},${appInstId:-},%X{X-B3-TraceId:-},%X{X-B3-SpanId:-},%X{X-B3-ParentSpanId:-}] ${PID:- } --- [%t] %-40.40logger{39} : %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>
    <property name="APP_LOG_PATTERN_FILE"
              value="${APP_LOG_PATTERN_FILE:-%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}} %5p [${appCode:-},${appInstId:-},%X{X-B3-TraceId:-},%X{X-B3-SpanId:-},%X{X-B3-ParentSpanId:-}] ${PID:- } --- [%t] %-40.40logger{39} : %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>
    <property name="APP_LOG_LEVEL" value="${APP_LOG_LEVEL:-INFO}"/>
    <property name="APP_LOG_FILE_MAX_SIZE" value="${APP_LOG_FILE_MAX_SIZE:-100MB}"/>
    <property name="APP_LOG_FILE_MAX_HISTORY" value="${APP_LOG_FILE_MAX_HISTORY:-100}"/>
    <property name="APP_LOG_FILE_TOTAL_SIZE" value="${APP_LOG_FILE_TOTAL_SIZE:-0}"/>
    <property name="APP_LOG_FILE"
              value="./logs/app-sys.log}"/>

    <!--配置APP-SYS到控制台-->
    <appender name="APP_LOG_APPENDER_CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>${APP_LOG_PATTERN_CONSOLE}</pattern>
        </encoder>
    </appender>
    <!--配置APP-SYS到文件-->
    <appender name="APP_LOG_APPENDER_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">