streamSets中导入数据从jdbc到kudu出现时区问题

最新推荐文章于 2024-02-01 20:15:57 发布
原创 最新推荐文章于 2024-02-01 20:15:57 发布 · 5.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文解决从MySQL导入数据至Kudu时遇到的时间字段少8小时问题，原因在于MySQL使用CST时区而Kudu使用UTC时区。通过在JDBC配置中增加时区设置，成功调整时间差异。

出现的问题：
streamSets中从mysql读取数据到kudu，发现时间字段少了8小时
在这里插入图片描述出现的原因：
mysql中使用的是cst时区，而impala操作kudu时使用的是utc时区

解决办法：
在jdbc配置中增加
在这里插入图片描述

Streamsets FAQ（六）关于SS的8小时问题总结
人是有思想的芦苇
08-31 1624
1、问题描述 关于SS的8小时问题之前也写了2个文章，以为问题已经得到了解决，但是发现想的太简单，再次遇到这个问题，折腾了2天，现在把这个问题梳理一下。大数据平台使用的是CDH-6.2.0版本，安装在Centos7.6 64位服务器上，服务器时区为CST时区，SS使用的是3.13.0版本。 数据同步的需要首先是从各个业务系统MySQL同步到中间库MySQL上，再根据数据分析的需要，有选择性的从中间库MySQL同步到大数据平台的kudu中，MySQL版本统一为5.6的，MySQL时区和安装MySQL的服务
Streamsets（四）SS配置MySQL存量数据同步到kudu
人是有思想的芦苇
08-29 617
1、MySQL建表 在MySQL中建表 CREATE TABLE `test` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `address` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL D
Streamsets FAQ（二）关于SS的8小时问题
人是有思想的芦苇
08-31 707
1、问题描述 在使用SS进行数据同步的过程中发现有8小时差值问题，具体表现为在使用JDBC Query Consumer这样的stage入到kudu时发现数据比MySQL中数据小8小时。在使用MySQL Binary Log这样的stage解析binlog数据时数据比MySQL中数据大了8小时，针对2种情况处理方式是不一样的。 2、解决方案 2.1、JDBC Query Consumer 在JDBC Query Consumer这个stage的JDBC配置项中往下拉，在最后的Additiona.
Kubernetes实战(二十二)-Pod时区修改
最新发布
sre救赎之路
02-01 1518
一般国内引用的基础镜像时区都是 UTC 时区，在此基础上，如果去容器查看日志的话就会发现和本地时间对不上，会导致一些问题出现，比如输出的日志时间和当前不一致，所以一般都会把操作系统或容器里的时区替换为 Shanghai。
Streamsets FAQ（三）SS前端界面时间格式调整
人是有思想的芦苇
08-31 850
1、问题描述 SS的前端界面时间显示默认使用的是CST时区，和中国时区有6小时时差（少了6小时），实际时间是2020-04-07 10:20:00，显示为2020-04-07 04:20:00 2、解决方案 进行Settings，修改Timezone为UTC即可，无需重启。 ...
110.用StreamSets实现数据实时写入Kudu
大勇若怯任卷舒
03-04 2131
110.1 演示环境介绍 CM版本：5.13.1 CDH版本：5.13.1 MariaDB版本：5.5.56 StreamSets版本：3.1.2.0 110.2 操作演示 1.环境布置 把MariaDB的Binlog日志开启 修改/etc/my.conf文件，在配置文件mysqld下增加如下配置： 建议使用Row模式的Binlog格式 server-id=1 log-bin=mysql-bin binlog_format=ROW 重启服务 [root@ip-168-31-16-.
Streamsets Postgresql 实时同步到Kudu
weixin_40817778的博客
06-23 831
Streamsets Postgresql 实时同步到Kudu
Streamsets3.21 mysql同步到kudu
kkHMou的博客
04-13 661
部分用法的官方链接： https://streamsets.com/documentation/datacollector/3.21.x/help/index.html streamsets没有内置的mysql驱动包，CDH版本则需要添加外部库，详见： https://blog.youkuaiyun.com/kkHMou/article/details/115319697 1. 单表同步 2. 实时同步 ...
利用 StreamSets 实现将 MySQL 中数据实时同步写入 Kudu
storm_fury
04-28 3077
使用StreamSets实现MySQL中变化数据实时写入Kudu 环境准备 开启MariaDB的Binlog日志 修改/etc/my.conf文件，在配置文件[mysqld]下增加如下配置 server-id=999 log-bin=mysql-bin binlog_format=ROW 注意： MySQL Binlog支持多种数据更新格式包括Row、Statement和mix（Row和...
kudu Clock considered unsynchronized 问题解决
u012361112的博客
06-22 2618
1. 必须开启本机的ntpd服务 2. 必须在高版本的ntp配置文件中加上这行记录： server 127.127.1.0 iburst fudge 127.127.1.0 stratum 8 否则使用ntpp -q命令会报如下错误： ntpq -p No association ID's returned 3. ...
主机重启使得Kudu时间不同步的解决方法
微步的博客
07-02 2642
问题描述：集群一直运行好好的，突然一天集群机器发生关机->重启后，通过CM观察发现，多个组件飘红，包括HBase、Kudu等，如下图   通过查看kudu进程的角色日志，发现是由于时钟不同步引起的，错误日志如下：   解决办法：   1、登录agent所有机器(除开ntp 服务器)，执行命令service ntpd restart [root@cdh-002 ~]# n...
Streamsets FAQ（四）SS同步binlog到kudu时间少8小时
人是有思想的芦苇
08-31 1309
1、问题描述 当前使用的是CDH-6.2.0和SS-3.13.0版本，在同步增量binlog数据到MySQL的时候datetime格式的字段时间会多出8小时，基于这个原因我们修改了SS里面的mysql-binlog-connector-java-0.13.0.jar源码 streamsets-3.13.0中使用的mysql-binlog-connector-java是0.13.0版本，找到0.13.0的源码， https://github.com/shyiko/mysql-binlog-connec
presto332升级presto350时，kudu时间戳少了8小时问题
weixin_38148824的博客
03-02 485
presto332升级presto350时，kudu时间戳少了8小时问题
12.时区不同导致HDFS,impala,kuduTserver启动失败
weixin_43346403的博客
02-15 246
时钟偏差
KUDU响应时间长，IO调优
技术百宝箱
09-30 1258
最近出现KUDU查询耗时一段时间非常长，差不多在3-5s左右。 1.问题排查 看到机器的以下监控数据，在出问题期间，IO量很大，IO占用CPU时间基本打满，明显是存在磁盘IO问题。 进一步发现内存占用已到90%以上。使用 pidstat -d 1 统计进程的磁盘读写情况，发现kudu-tserver均值可到100多M每秒，明显定位到IO问题出现kudu上。 性能优化、内存优化、kudu内存调优、LSM、WAL
Impala 使用 （8小时 时区问题对应SQL调整）
printsky的博客
11-19 5526
1、因为Impala服务器使用的是默认时区 UTC 所以 我们使用正常的SQL 查询出来的结果 是8小时之后的  比如st = '2018-11-14 10:00:00'  得到的结果st显示是'2018-11-14 10:00:00' 但是实际对应的数据是mysql中'2018-11-14 18:00:00'的，所以where比较和最后输出时需要加上8个小时  group by 中的st 不需要...
Impala时区问题
虾哔哔的博客
08-21 5326
默认impala配置不是中国的时区，所以在用from_unixtime的时候，有八个小时的时间差。 解决方案1： impala启动时加 -use_local_tz_for_unix_timestamp_conversions=true。 在cdh里面，impala->配置->mpala Daemo ->Impala Daemon 命令行参数高级配置代码段（安全阀） ...
KuduTablet设置维护时间
lynnyq
10-24 966
KuduTablet设置维护时间 参考 follower_unavailable_considered_failed_sec默认为300s，tablet失去联系超过300s后，该节点的数据就会在其他节点重建，为了避免维护造成的不必要的数据移动和拷贝，可以临时设置此时间为更长的时间（重启维护加上tablet重启后初始化需要的时间） 1.健康检查 维护前需要健康检查，如果有任何副本不足的情况，需等...
如何将greenplum数据导入到kudu表
04-26
您可以通过以下步骤将greenplum数据导入到kudu表： 1. 首先，将需要导入的数据从Greenplum中导出到一个文件或多...需要注意的是，您可能需要进行一些数据类型转换等额外的数据处理来将数据从Greenplum导入到Kudu表中。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值