ELK 7.5.0（九）ELK+Filebeat采集多个源日志（自定义索引名称）

最新推荐文章于 2023-03-13 14:51:18 发布

原创

最新推荐文章于 2023-03-13 14:51:18 发布 · 1.4k 阅读

6 ·

CC 4.0 BY-SA版权

本文为博主原创文章，未经博主允许不得转载。如有疑问，请在该文章中留言联系博主，谢谢！！

文章标签：

#日志索引 #filebeat #filebeat格式 #logstash格式

本教程介绍了如何在 ELK 7.5.0 环境中使用 Filebeat 采集多种类型日志，并通过 Logstash 进行识别和自定义日志索引名称。Filebeat 配置文件需新增字段以区分日志源，Logstash 根据 'type' 字段判断并处理不同来源的日志，确保日志索引名称不使用大写字母。最后在 Kibana 中创建并查看不同日志索引，如 linux_secure 和 nginx_access。

一、实验环境

主机名        IP
es        192.168.14.210
kibana    192.168.14.210
logstash  192.168.14.211
Filebeat  192.168.14.213
nginx     192.168.14.213
secure    192.168.14.213

二、安装部署（内容比较多，已经分多个章节）

1、ELK（elasticsearch+logstash+kibana）

具体查看第二、三、四章节

2、Filebeat安装

具体查看第六章节

三、Filebeat采集多个类型日志

如果客户端有多个不同类型的日志需要一起采集发送到ES服务器，Filebeat配置文件里面需要加入一个字段用来给Logstash区分识别不同类型日志源。

1、修改Filebeat配置文件（添加新字段type）

[root@filebeat ~]# vi /usr/local/filebeat-7.5.0/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  tail_files: true
  backoff: "1s"
  paths:
      - /usr/local/nginx/logs/access.json.log        #nginx日志路径
  fields:
    filetype: nginx_access
  fields_under_root: true                            #开启自定义字段

- type: log
  enabled: true
  tail_files: true
  backoff: "1s"
  paths:
      - /var/log/secure                               #系统登录日志路径
  fields:
    filetype:

最低0.47元/天解锁文章