ELK+FileBeat日志分析系统

最新推荐文章于 2025-07-02 01:24:59 发布

Maxwell_7

最新推荐文章于 2025-07-02 01:24:59 发布

阅读量1.3w

点赞数 1

CC 4.0 BY-SA版权

分类专栏：计算机

本文链接：https://blog.youkuaiyun.com/sinat_22013331/article/details/79382352

本文介绍了使用ELK（Elasticsearch, Logstash, Kibana）配合Filebeat构建日志分析系统的详细过程。通过Filebeat采集日志，Kafka作为消息队列，Logstash进行数据过滤和处理，最后存储到Elasticsearch中。文章涵盖了Filebeat、Logstash和Elasticsearch的安装配置，以及系统设计的初衷和组件选择的理由。" 129628627,9247679,Redis Set 集合操作与特性,"['数据库', '缓存', 'Redis']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

日志分析系统重新构建了一下,选定的技术方案是ELK,也就是ElasticSearch， LogStash，Kibana。另外加了Filebeat和Kafka

2017.06.28

这两天稍微清闲一些，就趁机重新构建了日志分析系统。没有写代码，全部使用成熟的技术方案来做数据采集，至于后期如何使用这些数据，还在考虑中，先收集吧。
整体的解决方案如下图所示：

请输入图片描述

其中，日志采集工具使用FileBeat，传输工具使用Kafka，数据整理工具使用LogStash集群，数据存储工具使用ES。当然，这个系统是可以简化的，比如说简化为Filebeat+ElasticSearch，FileBeat+LogStash+ElasticSearch，在不考虑数据Filter和数据处理能力的情况下，这两种方案都可以。但是建立这个平台的初衷是要支持整个网站的所有日志，于是就增加了Kafka，保证数据处理能力。

FileBeat采集数据之后传输给Kafka消息队列，然后LogStash采集消息队列中的数据，作过滤处理，最后将数据传输给ES。FileBeat采集数据时就是Json化的，这个日志采集工具相当轻量级，对系统资源的消耗很少。而LogStash的优点则是有丰富的Filter插件，用于对数据作粗处理。Kafka和ES的优点就不用说了。为了保证系统稳定性，这里所有的组件都使用集群形式。kafka集群使用三台虚拟机，LogStash集群使用两台虚拟机，而ElasticSearch集群使用两台虚拟机。下面来分别说一下各个组件的安装和配置。