使用 logstash + kafka + elasticsearch 实现日志监控

该博客详细介绍了如何利用Logstash收集日志,通过Kafka作为消息中间件,结合Elasticsearch进行日志存储与分析,最后通过Kibana展示日志监控效果。配置包括Zookeeper、Kafka、Elasticsearch和Kibana的安装与设置,以及解决启动过程中遇到的问题。

在本文中,将介绍使用 logstash + kafka + elasticsearch 实现微服务日志监控与查询。

服务配置

添加 maven 依赖:

<dependency>
   <groupId>org.apache.kafka</groupId>
   <artifactId>kafka-clients</artifactId>
   <version>1.0.0</version>
</dependency>

添加 log4j2 配置:

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN">
  <Appenders>
    <Console name="Console" target="SYSTEM_OUT">
      <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n"/>
    </Conso
使用Filebeat、LogstashKafkaSpring Boot项目日志进行采集的案例流程通常如下: ### 日志产生 在Spring Boot应用中,可通过配置`logback.xml`文件来产生日志并将其发送到Logstash。示例配置如下: ```xml <?xml version="1.0" encoding="UTF-8"?> <configuration> <property resource="properties/logback-variables.properties" /> <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> <encoder charset="UTF-8"> <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger - %msg%n</pattern> </encoder> </appender> <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender"> <destination>172.16.1.16:9250</destination> <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" /> </appender> <root level="info"> <appender-ref ref="STDOUT" /> <appender-ref ref="LOGSTASH" /> </root> </configuration> ``` 此配置将日志输出到控制台的同时,也会发送到指定的Logstash地址 [^4]。 ### Filebeat配置 编辑`filebeat-7.9.3/filebeat.yml`文件,配置要读取的Spring Boot应用的日志路径,不同的服务可配置不同的日志路径。示例如下: ```yaml filebeat.inputs: - type: log enabled: true paths: - /home/aisys/logs/member-service/*.log fields: log_topic: member-service ``` 该配置使Filebeat读取指定路径下的日志文件,并为日志添加自定义字段`log_topic` [^3]。 ### 日志收集与处理 设置Kafka作为日志收集的中间件,配置Logstash以接收和处理从Filebeat发送过来的日志。具体步骤为:先由Filebeat将收集到的日志发送到Kafka,再由LogstashKafka接收日志进行处理,最后将处理后的日志存入Elasticsearch中 [^1]。 ### 日志可视化 在Docker环境下部署Logstash日志收集工具,完成日志采集后,将数据写入Elasticsearch,再用Kibana进行可视化展示 [^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值