logstash date插件介绍

最新推荐文章于 2024-11-01 11:33:13 发布

有智慧的猫

最新推荐文章于 2024-11-01 11:33:13 发布

阅读量471

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/trigfj/article/details/83963327

本文详细介绍了Logstash的时间处理插件(filters/date)的使用方法，如何将日志记录中的时间字符串转换为Logstash::Timestamp对象，并将其保存到@timestamp字段。同时，展示了如何根据不同的类型将数据输出到Elasticsearch的不同索引。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.youkuaiyun.com/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

时间处理(Date)之前章节已经提过，filters/date 插件可以用来转换你的日志记录中的时间字符串，变成 LogStash::Timestamp 对象，然后转存到 @timestamp 字段里output {      if   [type] == "zj_frontend_access"{         elasticsearch {                hosts => "192.168.32.80:9200"                index => "logstash-zjzc-frontend-%{+YYYY.MM.dd}"        }  stdout {   codec => rubydebug  }      }        else if  [type] == "wj_frontend_access"{      elasticsearch {                hosts => "192.168.32.81:9200"                index => "logstash-wj-frontend-%{+YYYY.MM.dd}"        }                stdout {                        codec => rubydebug                }     }}注意：因为在稍后的 outputs/elasticsearch 中常用的 %{+YYYY.MM.dd} 这种写法必须读取 @timestamp 数据，所以一定不要直接删掉这个字段保留自己的字段，而是应该用 filters/date 转换后删除自己的字段！[elk@zjtest7-frontend config]$ ../bin/logstash -f stdin02.conf Settings: Default pipeline workers: 1Pipeline main started12/Sep/2016:21:32:33 +0800{       "message" => "12/Sep/2016:21:32:33 +0800",      "@version" => "1",    "@timestamp" => "2016-09-13T02:00:19.890Z",          "host" => "0.0.0.0",       "logdate" => "12/Sep/2016:21:32:33 +0800"}[elk@zjtest7-frontend config]$ cat stdin02.conf input {    stdin {    }}filter {    grok {        match => ["message", "%{HTTPDATE:logdate}"]    }#    date {#        match => ["logdate", "dd/MMM/yyyy:HH:mm:ss Z"]#        add_field =>["response_time","%{logdate}"]#    }}output { stdout {  codec=>rubydebug{}   } }  使用date插件: [elk@zjtest7-frontend config]$ cat stdin02.conf input {    stdin {    }}filter {    grok {        match => ["message", "%{HTTPDATE:logdate}"]    }    date {        match => ["logdate", "dd/MMM/yyyy:HH:mm:ss Z"]        add_field =>["response_time","%{logdate}"]    }}output { stdout {  codec=>rubydebug{}   } }[elk@zjtest7-frontend config]$ ../bin/logstash -f stdin02.conf Settings: Default pipeline workers: 1Pipeline main started12/Sep/2016:21:32:33 +0800{          "message" => "12/Sep/2016:21:32:33 +0800",         "@version" => "1",       "@timestamp" => "2016-09-12T13:32:33.000Z",             "host" => "0.0.0.0",          "logdate" => "12/Sep/2016:21:32:33 +0800",    "response_time" => "12/Sep/2016:21:32:33 +0800"}