logstash 数据采集时间差8小时问题及解决

最新推荐文章于 2024-12-03 14:35:30 发布

转载最新推荐文章于 2024-12-03 14:35:30 发布 · 3.5k 阅读

2 ·

CC 4.0 BY-SA版权

原文链接：https://www.e-learn.cn/content/qita/1279739

NoSql 专栏收录该内容

27 篇文章

订阅专栏

本文探讨了Logstash在数据采集过程中遇到的时间区偏差问题，特别是在与UTC时间对比时出现的8小时差异。提供了两种解决策略：一是通过配置filter字段进行本地时间转换；二是直接修改Logstash源代码。同时，针对从MySQL同步到Elasticsearch的数据时区不匹配问题，提出了转换字段和调整时间戳的改进措施。

最近采用logstash采集日志按天产生文件

使用过程中发现logstash timestamp记录的时间戳为UTC时间。

比我们的时区早8个小时。

不能确保每天的数据在同一文件。

造成发送到es里的数据每天早上8点才创建索引，发送的file的数据每天早上8点自动切割。

不符合我们实际的需求。

解决此问题。

方法如下：

方法一、加入filter字段即可解决。

 filter {     ruby {         code => "event.timestamp.time.localtime"     } }

方法二、修改logstash源码

 vi logstash-2.4.1\vendor\bundle\jruby\1.9\gems\logstash-core-event-2.4.1-java\lib\logstash\timestamp.rb  UTC = org.joda.time.DateTimeZone.forID(“UTC”)   修改为：   UTC = org.joda.time.DateTimeZone.getDefault()

logstash同步数据到ES时间时区假如mysql定义的mytime为datetime类型，如

mytime datetime NOT NULL DEFAULT '0000-00-00 00:00:00',

采用logstash同步该表数据存在时间相差8小时的问题。

mysql中体现的 "mytime ": "2018-07-01 10:28:39"

ES中体现的 "mytime ": "2019-07-01T02:28:39.000Z"，存储类型type为date

存在时区问题，东八区，ES中时间需要+8小时

改进措施1 将mysql中的mytime类型在logstash中作一个转换

statement => "select *, DATE_FORMAT(mytime,'%Y-%m-%d %T') as myctime from mytable where id >:sql_last_value"

ES中将体现的 "mytime ": "2018-07-01 10:28:39"，存储类型type为text

改进措施2 将mysql中的mytime数据在logstash中作一个8小时追加

filter{ ruby { code => "event.set('mytime', event.get('mytime').time.localtime + 8*60*60)" }}

文章来源: logstash 数据采集时间差8小时问题及解决