Spring Cloud ELK+kafka日志分析平台(一) 搭建

最新推荐文章于 2025-07-05 09:47:18 发布

原创

最新推荐文章于 2025-07-05 09:47:18 发布 · 置顶 · 1w 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#spring cloud #elk #日志分析

本文介绍了如何使用Spring Cloud与ELK（Elasticsearch、Logstash、Kibana）以及Kafka搭建日志分析平台。通过Kafka作为消息中间件，Logstash收集并过滤日志，Elasticsearch存储数据，Kibana提供可视化界面。文章详细阐述了日志格式设计、各组件的搭建与部署过程，包括日志输出到Kafka的配置、Kafka和Elasticsearch的部署、Logstash的配置以及Kibana的使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、简介
　　ELK是三个开源软件的缩写，分别为elasticsearch、logstash、kibana,elasticsearch是一个基于Lucene和Restful接口的分布式搜索引擎，logstash主要是用来日志的搜集、过滤和分析的工具，kibana是一个为elasticsearch和logstash提供良好的数据分析、检索、汇总可视化Web界面的工具，现在ELK已经被广泛应用到日志分析平台的搭建。而Spring Cloud作为现在最热门的微服务架构，其分布式的日志输出如果使用传统方式来进行分析查看会非常麻烦，可以直接用ELK来为其日志提供友好的服务，而kafka作为现在大数据消息队列的标准可以作为Spring Cloud与ELK之间的桥梁。
二、架构设计
这里写图片描述
　　如上图所示，我们的服务可以输出日志到kafka，然后logstash去kafka集群中消费日志数据，进行过滤处理后把日志存储在elasticsearch中，然后用户通过kibana去分析elasticsearch中数据。由于kafka、elasticsearch、logstash都可以配置集群，为日志系统提供了高可用性和高性能性。
三、日志格式的设计
　　由于业务场景的不同可能需要根据业务来做出相应的设计，笔者只给出一个基础的格式，以log4j2为例 <Property name="LOG_PATTERN">%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%-15.15t] [%-30.30c{1.}][%-15.20M - %L] [${SERVER_NAME}] [${LOCAL_IP}] - %msg%xEx%n</Property>其中${SERVER_NAME} 可以在log4j2中配置property可以输出当前应用名为以后的日志分析做准备，同样${LOCAL_IP}也可以去