logstash写es的时间差5或者6个小时?真正的原因原来是这个!

最新推荐文章于 2024-08-17 11:18:24 发布
最新推荐文章于 2024-08-17 11:18:24 发布
阅读量2.1k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： ELK 遇坑记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012452555/article/details/90201761
在使用Logstash处理数据时，遇到时间戳显示偏差问题，表现为时间加了5或6个小时。通过调整JDBC连接字符串参数，加入?serverTimezone=CTT，成功解决了时间差问题。

logstash刷数据已经刷了很久了.有一天要加一个时间字段进去

加了后发现,本来是年月日的时间全部都加了5或者6个小时

而且还挺有规律, January 1st 1970的这个时间全部都差6个小时, 比较近的时间全部差5个小时

谷歌一下"logstash 时间差", 几乎全部是差8个小时的

后来看了看logstash的配置, jdbc连接字符串后面没加参数,可能是这个原因

于是加了个?serverTimezone=CTT 重置时间戳刷了一次, 果然时间差问题解决了

 

虽然不知道为什么会差5或6小时, 但是logstash里面连接字符串要加参数是涨教训了

 

ElasticSearch学习笔记之三：Logstash数据分析
大龄IT民工
06-04 2090
Logstash使用管道方式进行日志的搜集处理和输出。有点类似*NIX系统的管道命令 xxx | ccc | ddd，xxx执行完了会执行ccc，然后执行ddd。在logstash中，包括了三个阶段:输入input --> 处理filter（不是必须的） --> 输出output每个阶段都由很多的插件配合工作，比如file、elasticsearch、redis等等。每个阶段也可以指定多种方式，比如输出既可以输出到elasticsearch中，也可以指定到stdout在控制台打印。
ELK 圣经：Elasticsearch、Logstash、Kibana 从入门到精通
架构师尼恩
11-21 1039
ELK指的是Elastic公司下面Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。是一个用于将 Java 应用程序的日志输出转换为 Logstash 可解析的 JSON 格式的库。
Logstash为什么那么慢？—— json序列化
xingoo
07-12 556
Logstash为什么那么慢？—— json序列化 今天跟峡谷金桥聊天，询问起Logstash的性能，金桥提示说Logstash中json的序列化是浪费性能的一方面。于是便有了下面的测试: 第一步，造数据 首先需要造一份数据，数据可以通过logstash的generator来造。 input{ generator{} } output{...
logstash 防止实际处理时间跟事件产生时间略有偏差
weixin_30421525的博客
09-12 251
"message" => " 10.168.255.134 [12/Sep/2016:16:30:40 +0800] \"GET /resources/plugins/artDialog/dialog-min.js?v=1&_=1473669040515 HTTP/1.1\" - 200 9946 \"https://wenjinbao.wi...
logstash 数据采集时间差8小时问题及解决
zhanglong_longlong的专栏
03-18 3556
最近采用logstash采集日志按天产生文件 使用过程中发现logstash timestamp记录的时间戳为UTC时间。 比我们的时区早8个小时。 不能确保每天的数据在同一文件。 造成发送到es里的数据每天早上8点才创建索引，发送的file的数据每天早上8点自动切割。 不符合我们实际的需求。 解决此问题。 方法如下： 方法一、加入filter字段即可解决。 filter {...
Logstash
weixin_33713503的博客
08-11 368
Logstash介绍 Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。   集中、转换和存储你的数据  Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。（当然，我们最喜欢的是Elasticsear...
ELK之Logstash解析时间相差8h的问题
一掬净土
11-12 1586
而logstash解析的时间为与实际时间想差8h。
ELK解决8小时的时间误差
08-01
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后...
Logstash 将ES数据导入数据库
周天祥的博客
11-08 8507
Logstash 将ES数据导入数据库 Logstash 7.2.0 1、logstash-output-jdbc安装 2、问题梳理 3、conf文件 1、logstash-output-jdbc安装 /opt/logstash/bin/logstash-plugin install logstash-output-jdbc 2、问题梳理 a、日期字段格式转换问题 b、es日期与...
KafKa+Logstash+Elasticsearch日志收集系统的吞吐量问题
热门推荐
jingjbuer的专栏
08-17 1万+
公司的KafKa+Logstash+Elasticsearch日志收集系统的吞吐量存在问题，logstash的消费速度跟不上，造成数据堆积； 三者的版本分别是：0.8.2.1+1.5.3+1.4.0 数据从KafKa中消费，采用的是logstash-input-kafka插件，输出到Elasticsearch中采用的是logstash-output-Elasticsearch插件。 对于两个
logstash7.0.1将数据从mysql5.7同步至es7.0.1大数据量下同步慢的问题
java_xxxx的博客
05-24 1945
首先我们分为两种情况 全量导库：以主键id的方式写sql语句分页导入es 增量倒库：按数据修改时间的时间字段进行到库 情况1： 原因：如果我们按修改时间的字段来进行全量倒库，那么logstash的sql语句在大数据量的时候会非常慢，因为logstash在我们的sql之外又套了一层 如：logstash里的mysql.conf文件里的sql SELECT * FROM article_lib WHERE update_time >= '2021-01-01 10:06:00' 但是logstash执行
Logstash导入mysql数据到es慢的解决方法
qq_38798909的博客
10-18 2711
有一个千万级别的数据库存放在Mysql中，由于直接在Mysql中使用语句查询，一次的时间要十几分钟，无法满足应用的需求，因此考虑将其导入到elasticsearch中进行倒排索引查询。 使用的工具是Logstash，但是Logstash的导入速度随着导入数据量的增大变得越来越慢。查询后发现在数据量增大时变慢的原因是因为mysql的深度分页达到了瓶颈。因为logstash在我们自己写的的sql上又加了一层作为封装 在logstash的导入conf配置文件中的statement代码 SELECT * F
大数据量下，logstash迁移数据慢的通用解决方案
hokagess的博客
08-17 367
通过 logstash 迁移大数据量 es 数据，实现迁移速率 1w/s
logstash消费延迟瓶颈排查
li1377103767的博客
02-09 6141
项目场景： logstash某个topic最近消费总是延迟 问题描述： logstash某个topic消费总是延迟，调整了topic partition和消费进程数之后 改善也不大 原因分析： 逐项排查： 排查kafka机器的磁盘和网卡是否瓶颈 磁盘 iostat -d -k 1 10 #查看TPS和吞吐量信息 iostat -d -x -k 1 10 #查看设备使用率（%util）、响应时间（await） iostat -c 1 10 #查看cpu状态 根据磁盘io util和await判
解决logstash时区相差8小时问题最详细解答
yongyong169的博客
03-01 4458
解决logstash索引差八小时的问题
Logstash 导入数据到ES所遇到的问题和经验
yunzhonghefei的博客
07-02 3909
Logstash 导入数据到Elastic所遇到的问题和经验，整理如下： 1、导入中文乱码，需要在配置文件中，增加编码指定，具体可以参考： input { file { path => "F:/logstash-data-movie-latest/ml-latest/jsonResult.csv" start_position => "beginning" sincedb_path => "F:/logstash-data-movie-latest/ml-
es 插入很慢_ES节点丢失导致实时数据导入速度特别慢
weixin_42171208的博客
02-23 1358
一个节点死机了，无法自动重启。通过logtash导数据，由于当天入的数据是0备份，节点丢失后，某些shard丢失，导致集群一直处于red状态。节点丢失后，该索引的导入速度直线下降。经测试发现是logtash的原因，logtash的input阶段是一个线程，filter和output用一个线程。中间通过一个同步队列缓存数据。如果在output的过程中出现问题，那么失败的数据会无限制地放回同步队列，然...
logstash7.3消费性能问题排查及调优
woturanshihuaidexiao的博客
03-13 3130
1、logstash吞吐量 logstash的拉去速率太慢，吞吐量存在瓶颈，影响es的写入速率 修改配置文件logstash.yml 每次发送的事件数 pipeline.batch.size: 2048 发送延时 pipeline.batch.delay: 50 监视配置文件的改变，并且当配置文件被修改以后自动重新加载配置文件 config.reload.automatic: true 为了检查配...
logstash 同步ES数据吞吐率优化
weixin_41953276的博客
04-14 1041
背景：在迁移上公有云迁移时，因目的端的ES集群开发、测试环境配置较低，导致在用logstash同步时会使得目的端的ES集群GC过高，从而导致集群不可用 策略：减低减少ES的写入，减少对目的端集群的影响 优化参数： 配置文件logstash.yml # pipeline线程数，官方建议是等于CPU内核数 pipeline.workers: 4 # pipeline output线程数，就是写ES的线程数，这里配置与目的端ES集群CPU核数一致 pipeline.output.workers.
es时间和服务器时间对不上，差八个小时
最新发布
04-09
### 解决 Elasticsearch 时间与时区差异的方法 Elasticsearch 和 Kibana 的时间显示问题通常源于不同组件之间的时区设置不一致。以下是针对该问题的具体解决方案： #### 方法一：调整 Logstash 配置 如果使用 Logstash 将数据写入 Elasticsearch，则可以在 Logstash 的配置文件中指定 `timezone` 参数，确保时间字段被正确解析并转换为 UTC 时区。 ```ruby filter { date { match => ["timestamp", "yyyy-MM-dd HH:mm:ss"] target => "@timestamp" timezone => "+08:00" # 设置为中国标准时间 (CST)，即东八区 } } ``` 通过上述方式可以确保 Logstash 处理的数据时间字段统一为 UTC 或者目标时区[^4]。 --- #### 方法二：修改 Kibana 的日期格式化设置 由于 Kibana 默认会根据用户的浏览器时区来展示时间，因此可以通过更改 Kibana 的高级设置 (`Advanced Settings`) 来强制其使用特定的时区（如 UTC）。具体操作如下： 1. 登录 Kibana 并导航至 **Management -> Advanced Settings**。 2. 找到参数 `dateFormat:tz` 并将其值更改为 `"UTC"` 或其他所需的时区字符串（例如 `"Asia/Shanghai"` 表示中国标准时间）。 3. 保存设置后刷新页面即可生效。 此方法适用于希望在前端层面解决问题而不改变底层存储逻辑的需求场景[^3]。 --- #### 方法三：直接在 Elasticsearch 中定义索引模板 为了使新创建的文档自动携带正确的时区信息，在建立索引之前可预先定义好映射规则，并明确指出相关字段应采用何种格式及时区表示法。例如： ```json PUT _template/my_template { "index_patterns": ["my_index_*"], "mappings": { "properties": { "custom_time_field": { "type": "date", "format": "strict_date_optional_time||epoch_millis", "ignore_malformed": false, "doc_values": true } } }, "settings": { "number_of_shards": 1, "number_of_replicas": 1 } } ``` 注意此处并未显式涉及任何具体的时区偏移量；这是因为推荐的做法是在应用程序层面上完成必要的转换后再提交给 ES 存储[^1]。 --- #### 方法四：利用 Ruby 插件修正时间戳 对于某些特殊情况下无法单纯依赖配置项达成目的的情形下，还可以考虑借助自定义脚本来动态调整每条记录中的时间属性值大小。比如下面这段代码片段展示了如何增加固定秒数从而补偿跨区域带来的偏差效果: ```ruby filter { ruby { code => " event.set('adjusted_time', event.get('@timestamp').time.localtime + Rational(8,24)) " } } ``` 不过需要注意的是这种方法可能会引入额外计算开销以及潜在一致性风险等问题，因而仅作为备选方案存在[^4]。 --- 以上四种途径均可有效应对由时区差异引发的各种异常状况，请依据实际情况选取最合适的策略实施优化改进工作。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值