1小时搭建日志分析系统：Elasticsearch+Filebeat+Kibana

快速体验

1. 打开 InsCode(快马)平台 https://www.inscode.net
2. 输入框内输入如下内容：

   构建一个完整的日志分析系统原型：1. 使用Filebeat收集Nginx访问日志；2. 配置Logstash管道处理日志数据（解析字段、添加时间戳）；3. 在Elasticsearch中建立合适的索引模式；4. 创建Kibana仪表板展示：a) 请求量趋势 b) 状态码分布 c) 热门URL d) 客户端地理分布。要求提供docker-compose.yml文件一键部署所有组件，并包含示例Nginx日志数据。

3. 点击'项目生成'按钮，等待项目生成完整后预览效果

最近需要快速验证一个日志分析系统的可行性，发现用Elastic Stack（ELK）可以轻松实现从日志收集到可视化的全流程。下面分享我的搭建过程，整个过程用Docker Compose编排，1小时就能跑通完整原型。

1. 系统架构设计

整个系统由四个核心组件构成：

• Filebeat：轻量级日志采集器，负责监控Nginx日志文件的变化并实时转发
• Logstash：数据处理管道，对原始日志进行解析、过滤和格式转换
• Elasticsearch：分布式搜索引擎，存储和索引处理后的日志数据
• Kibana：可视化平台，提供数据分析仪表板

2. 准备Nginx示例日志

为了快速测试，我准备了包含以下字段的模拟日志：

• 客户端IP地址
• 访问时间戳
• HTTP请求方法（GET/POST等）
• 请求URL路径
• HTTP状态码
• 响应数据大小
• 用户代理信息

这些字段将作为后续分析和可视化的基础数据。

3. 配置Filebeat日志采集

Filebeat的配置主要关注两点：

1. 指定要监控的Nginx日志文件路径
2. 设置输出到Logstash的地址和端口

配置完成后，Filebeat会持续监听日志文件，任何新增内容都会立即被捕获并发送。

4. 设计Logstash处理管道

Logstash配置分为三个核心部分：

1. 输入阶段：接收来自Filebeat的日志数据
2. 过滤阶段：
3. 使用Grok模式解析原始日志行
4. 将时间字符串转为标准时间戳
5. 提取关键字段（如状态码、请求方法等）
6. 添加地理位置信息（通过IP解析）
7. 输出阶段：将处理后的数据写入Elasticsearch

5. Elasticsearch索引策略

考虑到日志数据的特点，我为索引设置了：

• 每天自动创建新索引（方便按时间范围查询）
• 合适的字段类型映射（如将状态码设为keyword而非数值）
• 基础的分片和副本配置

6. Kibana可视化仪表板

在Kibana中创建了四个核心视图：

1. 请求量趋势图：按时间展示请求量变化，识别高峰时段
2. 状态码饼图：显示各类HTTP状态码的占比
3. 热门URL排行：统计最常访问的接口路径
4. 地理分布图：在地图上显示访问来源的地理位置

7. 一键部署实现

使用Docker Compose将整个系统容器化，主要优势：

• 所有服务依赖关系自动管理
• 网络连接和端口映射自动配置
• 数据卷持久化重要数据
• 环境变量统一管理

启动只需一条命令，真正实现开箱即用。

实际体验建议

在InsCode(快马)平台上验证这个方案特别方便，不需要自己搭建环境就能快速体验完整流程。他们的在线编辑器直接支持Docker Compose文件编辑，还能一键部署查看实时效果，比本地调试节省了大量时间。

整个原型搭建过程中，最耗时的其实是调试Logstash的Grok模式匹配，建议可以先在小批量数据上测试解析规则。当看到Kibana仪表板上动态展示出分析结果时，确实能直观感受到日志数据的价值。这个方案虽然简单，但已经涵盖了生产环境日志系统的大部分核心功能，后续可以根据需要逐步扩展。

快速体验

1. 打开 InsCode(快马)平台 https://www.inscode.net
2. 输入框内输入如下内容：

   构建一个完整的日志分析系统原型：1. 使用Filebeat收集Nginx访问日志；2. 配置Logstash管道处理日志数据（解析字段、添加时间戳）；3. 在Elasticsearch中建立合适的索引模式；4. 创建Kibana仪表板展示：a) 请求量趋势 b) 状态码分布 c) 热门URL d) 客户端地理分布。要求提供docker-compose.yml文件一键部署所有组件，并包含示例Nginx日志数据。

3. 点击'项目生成'按钮，等待项目生成完整后预览效果