日志采集系统filebeat输出到logstash配置

本文详细介绍如何使用Filebeat和Logstash配置ELK堆栈,实现日志数据的收集、处理与输出。通过具体配置步骤,指导读者完成从日志采集到最终存储的全过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

关于elk框架介绍参考链接:https://www.zybuluo.com/dume2007/note/665868

filebeat输出到logstash(filebeat汇集日志数据到logstash)



filebeat配置:
/etc/filebeat/filebeat.yml


修改配置filebeat.yml:
- input_type: log


  # Paths that should be crawled and fetched. Glob based paths.
  paths:


    - /var/log/*.log
    - /data/gfj/goproject/logs/*.log  #修改扫描输入路径(可以配置多个路径)


     屏蔽elasticsearch 配置
 






启动filebeat:
/etc/init.d/filebeat start


logstash配置:testlogstash.conf
input {
        #file {
        #        path =>  "/data/gfj/goproject/logs/*.log"  #读取本地日志文件(可以配置多个路径)
        #}
     beats {
    port => 5044  #logstash监听端口
  }


}
        
output {
        file {
        #        path => "/data/gfj/goproject/logstash/rtb.log.%{+dd.MM.YYYY.HH}"
    path => "/data/gfj/goproject/logs/loglog/rtb.log.%{+dd.MM.YYYY.HH}"
                codec => line { format => "%{message}"}
        }


}
 
#joda相差8小时,同步时间 
filter {  
  date {   
    match => ["message","UNIX_MS"]
    target => "@timestamp"
  }  
 ruby {
   code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"
 }  
 ruby {
   code => "event.set('@timestamp',event.get('timestamp'))"
 }  
 mutate {
   remove_field => ["timestamp"]
 }  
}  




启动logstash:
bin/logstash -f testlogstash.conf 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值