springboot2+logback+logstash 日志收集

适用人群

• 运维人员
• 熟练操作docker和对elk有基本认识的人(本文不涉及elk部署)
• 由于本文涉及到的知识众多,且并没有加以描述,所以小白慎看

操作步骤

1. 部署logstash
2. 在springboot项目中引入net.logstash.logback:logstash-logback-encoder包
3. 配置logback-spring.xml

部署logstash

笔者使用的是docker-compose部署logstash(docker同理,读者可自行转换)
先创建三个文件

• logstash.conf
• logstash.yml
• docker-compose.yml

配置如下:

# logstash.conf
input {
    tcp {
    # 笔者启用了多个logstash,所以此处没有使用logstash的默认端口,读者也可按喜好配置
	port => 5045
	codec => "json_lines"
    }
}

output {
    elasticsearch {
    # hosts => "ip:端口"
	hosts => "elk:9200"
	# appname在logback中配置,前缀"logstash-logback"读者也可自定配置
	index => "logstash-logback-%{[appname]}-%{+YYYY.MM.dd}"
    }
}

# logstash.yml
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch:9200" ]
# 前两行为logstash默认配置,笔者没有改动,仅加了第三行,禁用x-pack的监视功能
xpack.monitoring.enabled: false

# docker-compose.yml
version: '3'

services:
  logstash-logback:
    image: docker.elastic.co/logstash/logstash:7.2.0
    volumes:
      - /root/software/docker/elk/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml
      - /root/software/docker/elk/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
    restart: always
    container_name: logstash-logback
    ports:
    # 此处的端口号与logstash.conf配置的相同,格式 -> 主机端口:容器端口
      - "5045:5045"
    networks:
    # 由于笔者的elasticsearch也是启动在docker中,为保证可以直接用容器名称访问,则将elasticsearch和logstash放置在一个网桥中
      - elk
networks:
# 笔者先network创建了一个名为elk的网桥,在此处配置,使用外部网桥
  elk:
    external: true

随后启动容器即可

net.logstash.logback:logstash-logback-encoder包

笔者使用的是gradle,使用maven者同理

compile('net.logstash.logback:logstash-logback-encoder:6.1')

配置logback-spring.xml

在resources文件夹下创建logback-spring.xml文件

# logback-spring.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration><!--debug="true" scan="true" scanPeriod="30 seconds"-->
    <springProperty scope="context" name="logPath" source="log.path"/>

    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
   		<!-- 此处配置logstash的ip和端口 -->
        <destination>ip:5045</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
        	<!-- 此处配置logstash的索引名称,在logstash.conf中配置了使用appname作为索引名称的一部分 -->
            <customFields>{"appname":"项目名称"}</customFields>
        </encoder>
    </appender>

    <root level="info">
        <appender-ref ref="LOGSTASH"/>
    </root>
</configuration>

启动项目,则可在kibana中看到索引