[ELK] ELK+Filebeat变成ELK stack

最新推荐文章于 2025-03-14 09:17:43 发布

为什么老是名字被占用

最新推荐文章于 2025-03-14 09:17:43 发布

阅读量1.2k

点赞数 15

分类专栏： ELK 文章标签： elk 大数据

本文链接：https://blog.youkuaiyun.com/Cnm_147258/article/details/135700072

版权

本文详细介绍了如何在Node1节点上部署和配置Filebeat，包括安装、设置主配置、与Elasticsearch和Logstash集成，以及使用grok正则表达式捕获、multiline多行合并和mutate数据修改插件，以及处理日期时间的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Filebeat+ELK 部署

在 Node1 节点上操作

1. 安装 Filebeat

#上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar zxvf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64/ /usr/local/filebeat

2. 设置 filebeat 的主配置文件

cd /usr/local/filebeat

vim filebeat.yml
filebeat.inputs:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true
  paths:
    - /var/log/messages       #指定监控的日志文件
    - /var/log/*.log
  tags: ["sys"]		#设置索引标签
  fields:           #可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: filebeat
    log_type: syslog
    from: 192.168.80.13

--------------Elasticsearch output-------------------
(全部注释掉)

----------------Logstash output---------------------
output.logstash:
  hosts: ["192.168.80.12:5044"]      #指定 logstash 的 IP 和端口

3. 启动 filebeat

nohup ./filebeat -e -c filebeat.yml > filebeat.out &
#-e：输出到标准输出，禁用syslog/文件输出
#-c：指定配置文件
#nohup：在系统后台不挂断地运行命令，退出终端不会影响程序的运行

4．在 Logstash 组件所在节点上新建一个 Logstash 配置文件

input {
   beats { port => "5044" }

}
#filter {}

output {
   elasticsearch {
        hosts => ["192.168.136.180:9200","192.168.136.190:9200","192.168.136.195:9200"]
        index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
   }
   stdout { codec => rubydebug }
}

#filebeat发送给logstash的日志内容会放到message字段里面，logstash使用grok插件正则匹配message字段内容进行字段分割
#Kibana自带grok的正则匹配的工具：http://<your kibana IP>:5601/app/kibana#/dev_tools/grokdebugger
# %{IPV6}|%{IPV4} 为 logstash 自带的 IP 常量


#启动 logstash
logstash -f filebeat.conf