企业级日志管理：SpringBoot+ELK日志收集系统搭建指南

原创于 2025-07-24 10:11:00 发布 · 885 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#spring boot #elk #后端

Web 专栏收录该内容

583 篇文章

订阅专栏

🎓博主介绍：Java、Python、js全栈开发 “多面手”，精通多种编程语言和技术，痴迷于人工智能领域。秉持着对技术的热爱与执着，持续探索创新，愿在此分享交流和学习，与大家共进步。
📖DeepSeek-行业融合之万象视界(附实战案例详解100+)
📖全栈开发环境搭建运行攻略：多语言一站式指南(环境搭建+运行+调试+发布+保姆级详解)
👉感兴趣的可以先收藏起来，希望帮助更多的人

企业级日志管理：SpringBoot + ELK 日志收集系统搭建指南

一、引言

在企业级应用开发中，日志管理是至关重要的一环。有效的日志管理能够帮助开发人员和运维人员快速定位问题、监控系统运行状态以及进行性能分析。Spring Boot 作为一款流行的 Java 开发框架，结合 ELK（Elasticsearch + Logstash + Kibana）堆栈，可以构建一个强大的企业级日志收集系统。本文将详细介绍如何搭建基于 Spring Boot 和 ELK 的日志收集系统。

二、ELK 堆栈简介

2.1 Elasticsearch

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，它能够实时地存储、搜索和分析大量数据。在日志管理系统中，Elasticsearch 用于存储和索引收集到的日志数据，方便后续的查询和分析。

2.2 Logstash

Logstash 是一个开源的数据收集引擎，具有实时管道功能。它可以从多个数据源（如文件、网络、数据库等）收集数据，对数据进行过滤、转换和丰富，然后将处理后的数据发送到 Elasticsearch 进行存储。

2.3 Kibana

Kibana 是一个开源的数据分析和可视化平台，与 Elasticsearch 紧密集成。它提供了直观的用户界面，允许用户通过图表、报表等方式对 Elasticsearch 中的数据进行可视化展示和交互分析。

三、环境准备

3.1 安装 Java

由于 Spring Boot 和 ELK 堆栈都是基于 Java 开发的，因此需要先安装 Java 开发环境。建议安装 Java 8 或更高版本。可以从 Oracle 官方网站或 OpenJDK 官方网站下载并安装 Java。安装完成后，配置 JAVA_HOME 环境变量。

3.2 安装 Elasticsearch

从 Elasticsearch 官方网站下载适合你操作系统的 Elasticsearch 安装包。
解压安装包到指定目录。
进入 Elasticsearch 安装目录，编辑 config/elasticsearch.yml 文件，配置 Elasticsearch 的基本参数，如集群名称、节点名称、网络地址等。示例配置如下：

cluster.name: my-elk-cluster
node.name: node-1
network.host: 0.0.0.0
http.port: 9200

启动 Elasticsearch：在命令行中进入 Elasticsearch 安装目录，执行以下命令启动 Elasticsearch 服务：

./bin/elasticsearch

验证 Elasticsearch 是否启动成功：在浏览器中访问 http://localhost:9200，如果看到类似以下的 JSON 响应，则说明 Elasticsearch 启动成功：

{
  "name" : "node-1",
  "cluster_name" : "my-elk-cluster",
  "cluster_uuid" : "xxxxxx",
  "version" : {
    "number" : "7.17.0",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "xxxxxx",
    "build_date" : "2022-01-28T08:35:56.323456Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

3.3 安装 Logstash

从 Logstash 官方网站下载适合你操作系统的 Logstash 安装包。
解压安装包到指定目录。
创建 Logstash 配置文件 config/logstash.conf，示例配置如下：

input {
  tcp {
    port => 5000
    codec => json_lines
  }
}

filter {
  # 可以在这里添加过滤和转换规则
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logs-%{+YYYY.MM.dd}"
  }
}

启动 Logstash：在命令行中进入 Logstash 安装目录，执行以下命令启动 Logstash 服务：

./bin/logstash -f config/logstash.conf

3.4 安装 Kibana

从 Kibana 官方网站下载适合你操作系统的 Kibana 安装包。
解压安装包到指定目录。
编辑 config/kibana.yml 文件，配置 Kibana 连接 Elasticsearch 的地址：

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

启动 Kibana：在命令行中进入 Kibana 安装目录，执行以下命令启动 Kibana 服务：

./bin/kibana

验证 Kibana 是否启动成功：在浏览器中访问 http://localhost:5601，如果看到 Kibana 的登录界面，则说明 Kibana 启动成功。

四、Spring Boot 项目集成 Logstash

4.1 创建 Spring Boot 项目

可以使用 Spring Initializr（https://start.spring.io/）快速创建一个 Spring Boot 项目，添加必要的依赖，如 Spring Web、Spring Boot Starter Logging 等。

4.2 配置 Logback 日志框架

Spring Boot 默认使用 Logback 作为日志框架，我们需要在 src/main/resources 目录下创建 logback-spring.xml 文件，配置 Logback 将日志发送到 Logstash。示例配置如下：

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpAppender">
        <destination>localhost:5000</destination>
        <encoder class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>

    <root level="info">
        <appender-ref ref="LOGSTASH" />
    </root>
</configuration>

4.3 编写测试代码

在 Spring Boot 项目中编写一个简单的控制器类，用于生成日志：

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class LogController {
    private static final Logger logger = LoggerFactory.getLogger(LogController.class);

    @GetMapping("/log")
    public String generateLog() {
        logger.info("This is a test log message.");
        return "Log generated successfully.";
    }
}

4.4 启动 Spring Boot 项目

在命令行中进入 Spring Boot 项目根目录，执行以下命令启动项目：

mvn spring-boot:run

4.5 验证日志收集

访问 http://localhost:8080/log 触发日志生成，然后在 Kibana 中创建索引模式并查看日志数据。具体步骤如下：

打开浏览器，访问 http://localhost:5601 进入 Kibana 界面。
点击左侧导航栏中的 “Management” -> “Stack Management”。
在 “Data” 部分，点击 “Index Patterns”，然后点击 “Create index pattern”。
在 “Index pattern name” 输入框中输入 logs-*，然后点击 “Next step”。
在 “Time field” 下拉列表中选择 @timestamp，然后点击 “Create index pattern”。
点击左侧导航栏中的 “Discover”，选择刚刚创建的索引模式，即可查看收集到的日志数据。

五、日志分析与可视化

5.1 使用 Kibana 进行日志查询

在 Kibana 的 “Discover” 页面，可以使用 Elasticsearch 的查询语法进行日志查询。例如，要查询包含 “test” 关键字的日志，可以在搜索框中输入 message:test。

5.2 创建可视化图表

Kibana 提供了丰富的可视化工具，如柱状图、折线图、饼图等。可以通过以下步骤创建可视化图表：

点击左侧导航栏中的 “Visualize” -> “Create visualization”。
选择合适的可视化类型，如 “Bar chart”。
选择要分析的索引模式。
配置可视化的参数，如 X 轴、Y 轴、分组条件等。
点击 “Save” 保存可视化图表。

5.3 创建仪表盘

仪表盘可以将多个可视化图表组合在一起，方便用户全面了解系统的日志情况。可以通过以下步骤创建仪表盘：

点击左侧导航栏中的 “Dashboard” -> “Create dashboard”。
点击 “Add” 按钮，选择要添加到仪表盘的可视化图表。
调整可视化图表的位置和大小，完成仪表盘的布局。
点击 “Save” 保存仪表盘。

六、总结

通过以上步骤，我们成功搭建了一个基于 Spring Boot 和 ELK 的企业级日志收集系统。该系统可以帮助企业高效地收集、存储、分析和可视化应用程序的日志数据，为开发人员和运维人员提供有力的支持。在实际应用中，可以根据企业的具体需求对系统进行进一步的优化和扩展，如增加日志过滤规则、实现日志的实时告警等。