logstash 数据采集时间差8小时问题及解决

最近采用logstash采集日志按天产生文件

使用过程中发现logstash timestamp记录的时间戳为UTC时间。

比我们的时区早8个小时。

不能确保每天的数据在同一文件。

造成发送到es里的数据每天早上8点才创建索引，发送的file的数据每天早上8点自动切割。

不符合我们实际的需求。

解决此问题。

方法如下：

方法一、加入filter字段即可解决。

 filter {     ruby {         code => "event.timestamp.time.localtime"     } }

方法二、修改logstash源码

 vi logstash-2.4.1\vendor\bundle\jruby\1.9\gems\logstash-core-event-2.4.1-java\lib\logstash\timestamp.rb  UTC = org.joda.time.DateTimeZone.forID(“UTC”)   修改为：   UTC = org.joda.time.DateTimeZone.getDefault() 

 

 

 

logstash同步数据到ES时间时区
  假如mysql定义的mytime为datetime类型，如

  mytime datetime NOT NULL DEFAULT '0000-00-00 00:00:00',

  采用logstash同步该表数据存在时间相差8小时的问题。

mysql中体现的 "mytime ": "2018-07-01 10:28:39"

ES中体现的      "mytime ": "2019-07-01T02:28:39.000Z"，存储类型type为date

存在时区问题，东八区，ES中时间需要+8小时

改进措施1
将mysql中的mytime类型在logstash中作一个转换

statement => "select *, DATE_FORMAT(mytime,'%Y-%m-%d %T') as myctime from mytable where id >:sql_last_value"

ES中将体现的      "mytime ": "2018-07-01 10:28:39"，存储类型type为text

 

改进措施2
将mysql中的mytime数据在logstash中作一个8小时追加

filter{ ruby 
        { 
            code => "event.set('mytime', event.get('mytime').time.localtime + 8*60*60)" 
        }}
 

 

文章来源: logstash 数据采集时间差8小时问题及解决