logstash 数据采集时间差8小时问题及解决

最新推荐文章于 2024-06-04 17:08:25 发布

酱g

最新推荐文章于 2024-06-04 17:08:25 发布

阅读量1.2w

点赞数 2

CC 4.0 BY-SA版权

分类专栏： elasticsearch 文章标签： logstash时区 logstash慢八小时

本文链接：https://blog.youkuaiyun.com/qq_33283716/article/details/83055655

elasticsearch 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了解决Logstash采集日志时产生的UTC时间戳问题，导致数据索引及文件切割时间不符本地时区的方法。提供了三种解决方案：通过filter字段调整、修改源码中的DateTimeZone配置，以及更深入的源码修改，确保日志处理符合实际需求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近采用logstash采集日志按天产生文件

使用过程中发现logstash timestamp记录的时间戳为UTC时间。

比我们的时区早8个小时。

不能确保每天的数据在同一文件。

造成发送到es里的数据每天早上8点才创建索引，发送的file的数据每天早上8点自动切割。

不符合我们实际的需求。

解决此问题。

方法如下：

方法一、加入filter字段即可解决。

filter {
    ruby {
        code => "event.timestamp.time.localtime"
    }
}

方法二、修改logstash源码

vi logstash-2.4.1\vendor\bundle\jruby\1.9\gems\logstash-core-event-2.4.1-java\lib\logstash\timestamp.rb

UTC = org.joda.time.DateTimeZone.forID(“UTC”)  
修改为：  
UTC = org.joda.time.DateTimeZone.getDefault()

方法三、继续修改源码总有一种适合你的

1、修改string_interpolation.rb文件

vim /data/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-event-2.4.1-java/lib/logstash/string_interpolation.rb
将.withZone(org.joda.time.DateTimeZone::UTC)修改为.withZone(org.joda.time.DateTimeZone.getDefault())

2、修改timestamp的配置文件

vim  /data/logstash/vendor/bundle/jruby/1.9/gems/logstash-core-event-2.4.1-java/lib/logstash/timestamp.rb
将@time = time.utc修改为@time  = time