【elasticsearch】filebeat+ELK收集数据的过程详述

最新推荐文章于 2025-07-02 00:09:12 发布

原创

最新推荐文章于 2025-07-02 00:09:12 发布 · 3.1k 阅读

5 ·

CC 4.0 BY-SA版权

本文详细介绍了使用filebeat、logstash、elasticsearch和kibana（ELK stack）进行日志收集和分析的配置过程。filebeat作为日志收集器，将日志发送到logstash进行过滤和设置索引，然后数据存储在elasticsearch中，最后通过kibana建立索引并展示。涉及的配置包括filebeat的multiline模式、logstash的正则配置以及kibana的索引创建。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言：
为了日志收集，用了4台虚拟机，filebeat52一台，es两台95、93，logstash一台75，kibana和es的主节点在一台服务器95上，因为安装了x-pack BUT 不会用的原因、真是坑自己不带眨眼滴走了很多弯路,说多了都是泪，之前写了安装搭建的博客，希望给大家带来帮助吧，如果没有帮助那我就是在做笔记；^_^

filebeat类似一个管道，将指定路径下的文件发送到logstash中过滤给elasticsearch，然后kibana中建立索引展示——大概是这个流程，下面说一下配置过程：

安装情况：
1、filebeat安装在需要收集日志的服务器上面，指定路径
2、kibana的安装位置不受限制，配置好了就可以，我是安装在了95的/usr/local/bin/kibana-6.1.2-linux-x86_64
3、elasticsearch也在95上和kibana同目录：/usr/local/bin/elasticsearch-6.1.2
为es安装了head插件、分词ik插件、x-pack插件（不熟悉的话坑很多）
4、logstash安装在75的/usr/local/bin/logstash-6.1.2

下面进入主题啦：

filebeat.yml：

filebeat.prospectors:

- type: log

  paths:
    /usr/local/tomcat-achievement-8082/logs/*.log//收集这个路径下所有以log结尾的文件
  tags: ["achie_log"]//标识，在logstash中我利用此对应建立索引
 //对于出错的信息一般都是很多行，需要多行合并
  multiline.pattern: '^\\'     //以/开头的行 进行多行合并
  multiline.negate: false       //后面说
  multiline.match: after  
- type: log
  paths:
    /usr/local/tomcat-basicInfo-8081/logs/*.log//同上
  tags: ["basic_log"]

  multiline.pattern: '^\\'
  multiline.negate: false
  multiline.match: after
- type: log
  paths:
    /usr/local/tomcat-examinationEval