filebeat&logstash下multiline读取Log4j

最新推荐文章于 2023-07-03 21:28:59 发布

你倒是跑啊

最新推荐文章于 2023-07-03 21:28:59 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： elasticsearch 文章标签： logstash elasticsearch

本文链接：https://blog.youkuaiyun.com/qq_31302009/article/details/79159558

elasticsearch 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一种使用Filebeat进行日志收集的配置方法，包括输入、过滤和输出三个阶段的具体设置。重点讲解了如何通过配置实现日志的正确解析及传输至Elasticsearch的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

input {
       stdin {
       }
       beats {
              port => 5044
	      codec => multiline { 
			pattern => "^%{TIMESTAMP_ISO8601}"
			negate => true
			what => "previous"
			}
      }
}

filter {
   grok {
	match => [ "message", "%{TIMESTAMP_ISO8601:eventtime} %{LOGLEVEL:level}" ]
   }
}

output {
	stdout {
		codec => rubydebug
	}
	elasticsearch {
		hosts => "127.0.0.1:9200"
		index => "%{[fields][src]}-%{+YYYY.MM.dd}"
		user => "root"
		password => "123456"
	}
}

其中user和password是es创建的user.

[fields][src]是我filebeat的加的字段属性，标识日志的来源信息.

match是指匹配日志进行解析，目前只匹配时间和日志等级，其他记录到默认字段message.

multiline主要为了匹配打印的错误堆栈到一行里边。目前存在的问题最后一行必须等下次输入才会传递到es.