hive和impala操作parquet文件timestamp带来的困扰

最新推荐文章于 2022-06-13 18:21:40 发布
最新推荐文章于 2022-06-13 18:21:40 发布
阅读量3.6k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hive impala 文章标签： parquet timestamp hive impala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bsf5521/article/details/72682996
在将数据从一个CDH5.9集群迁移到另一个时，发现Hive查询Parquet文件中的timestamp比Impala多了8小时。问题源于Hive的timestamp在Parquet中不使用标准的LogicalType，而是与Impala的实现兼容。解决方案是通过Hive的to_utc_timestamp函数转换时间，并用ORCFile存储，但Impala不支持ORCFile，最终采用妥协方案：Hive离线处理后推送到Impala或DB，保存为Impala支持的格式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言：准备使用hive作数据仓库，因历史遗留问题，原先遗留的数据处理都是impala处理的，数据文件是parquet文件，因本身集群资源少，而处理的文件很大，准备使用hive离线分析将小文件推送到db或者impala进行展示操作。

准备：搭建cdh5.9，将原有的数据从一个集群迁移到现有的集群。对数据按照天进行动态分区，分区数据仍然使用parquet格式。

问题：因分区字段为timestamp类型，一个偶然的机会发现了一个诡异的问题，hive查询的时间比impala查询的时间多了8个小时，和原始数据进行比对发现hive处理的timestamp数据有问题。


Based on this discussion it seems that when support for saving t

最低0.47元/天 解锁文章

200万优质内容无限畅学
hive集群的迁移及遇到的相关问题
analysis_data的博客
01-19 654
hive集群的迁移，从一个服务器迁移到另一个服务器，网上的方法有很多，经本人实际操作，感觉好上手操作的，步骤如下：1. 设置默认需要导出的hive数据库vi ~/.hivercuse xx数据库;2. 创建数据临时目录hdfs dfs -mkdir /tmp/hive-export3.生成导出数据脚本hive -e "show tables " | awk '{printf "export tab
java读parquet文件乱码,Hadoop系统Parquet文件的Timestamp类型的时区问题
weixin_28987465的博客
03-16 554
Hive在0.8的版本后开始支持Timestamp的格式。Hive在储存时间戳的时候会先把时间转成UTC的时间，然后再把转换后的时间存储到Parquet文件中。在读取Parquet文件的时候Hive会把时间从UTC时间再转化回成本地的时间。这样的话，如果存和读取都是用Hive的话，时间不会有任何的问题。上述说的是用Parquet文件来存取时间格式流程，如果是存成普通的文本文件的话，存取都不会进行任...
sqoop import hive parquet表timestamp,decimal转换问题
docsz的博客
12-24 1623
sqoop mysql导入hive parquet表timestamp,decimal
impala 本年格式化时间,Impala时间戳与Hive不匹配 - 时区问题？
weixin_42213451的博客
02-06 262
I have some eventlog data in HDFS that, in its raw format, looks like this:2015-11-05 19:36:25.764 INFO [...etc...]An external table points to this HDFS location:CREATE EXTERNAL TABLE `log_stage`(`...
impala 时区问题
hyfstyle的博客
10-26 1765
impala 默认配置不是中国时区，所以格式化时间戳的时候 用from_unixtime ，有八个小时的时间差 如果不重启impala服务 可以用时间函数增加8小时，暂时获取正确的格式化日期：hours_add(from_unixtime(cast(substring( TIME_STAMP,1,10) as bigint),’yyyy-MM-dd HH:mm:ss’),8) 或者直接修改impala配置并重启impala服务即可： Cloudera Manager -> Impala -> 配
Parquet的timestamp类型转为long
yingkongshi99的专栏
05-20 5256
由于sparksql使用parquet文件存储数据时，有个默认参数spark.sql.parquet.int96AsTimestamp为true，即为保持精度，使用96位的int来存储Timestamp类型，这就为使用java代码解析Timestamp类型带来了麻烦，下面为转换工具类。 package com.le.tp.digitalmarketing.hotword.util; im
Hive底层文件存储类型parquet
resin_404的博客
06-09 5115
Hive作为数据仓库常用工具之一，在数据量级越来越大的时候，存储问题会暴露出来。那么在之前大部分为了省事方便都会以TextFile*作为存储类型，此类型比较占存储，并且查询效率并不是很高。为了节省集群的存储空间，研究了各种存储类型，网上各类帖子已经把这几类的优缺点和使用场景说的非常明确。我在这稍微提及一下，主要想分享我在使用sqoop抽取数据时进行文件类型转换（parquet）遇到的坑，共享出来希望遇到此问题的朋友借鉴，减少不必要时间消耗。* 一、概述一下各类文件类型的优缺点 1.TextFile 行存储，
impala创建parquet文件的外表及两个容易忽略的陷阱
fyb1990的博客
04-21 3378
impala外表的创建方法impala创建外表有两种方式，一种由impala-shell 进行创建，一种通过hive shell进行创建。impala-shell 进行创建准备工作连接impala-shell在文本中书写impala的创建表语句例子create table stats_xxxx_day( ID STRING, STATDATE STRING ) partition by(p_sta...
Spark & Hive 关于parquet格式文件的区别
搬砖の隔壁老王
09-18 2801
因为数据之前一直都在MySQL库中保存，现在需要将部分数据移到hive库中，由于数据在MySQL是分库分表存储的，试了很多方式直接从MySQL到Hive库中都没有成功，于是，采用spark读取MySQL数据输出到parquet文件中，再load到Hive中，这才遇到了这个问题。 将spark输出的parquet文件按分区load到hive中，出现load到hive中的字段比...
Impala和Hive之间的SQL差异
xu704928452的博客
11-08 3594
Impala和Hive之间的SQL差异 Impala的SQL语法遵循SQL-92标准，并且在内置功能等领域包括许多行业扩展。有关将SQL代码从各种数据库系统移植到Impala的一般讨论，请参见将SQL从其他数据库系统移植到Impala。 由于Impala和Hive共享相同的metastore数据库，并且它们的表经常互换使用，因此以下部分详细介绍了Impala和Hive之间的区别。 HiveQL功能...
在hive中直接对timestamp类型取max报错
weixin_30640769的博客
04-05 970
之前直接对timestamp类型做max操作， select id,max(updatetime) updatetime from his.tag group by id; 结果查询的结果有的显示为1970-01-01，如下图： 解决办法： 先将timestamp类型用unix_timestamp函数转换成bigint 然后进行取max操作，最后再将结果通过from_un...
TimeQuest中取值为负数的建立时间问题
miffywm的博客
05-12 1231
TimeQuest中取值为负数的建立时间问题 使用quartus进行时序分析中发现TimeQuest中utsu出现负值，问题原因及分析如在下链接： https://www.veryarm.com/127446.html 结论： TimeQuest在这一点上是没错的。负的建立时间是特定时序模型的特点，模型在器件上不同的位置具有不同的特征参数。负的建立时间和寄存器靠近引脚有关。我们不必关心，交给工具去处理好了。 ...
关于 Impala 时区晚8个小时的问题
雾岛与鲸的博客
12-17 1462
默认impala配置不是中国的时区，所以在用from_unixtime的时候，有八个小时的时间差。 解决方案1: impala启动时加 -use_local_tz_for_unix_timestamp_conversions=true。 在cdh里面，impala->配置->mpala Daemo ->Impala Daemon 命令行参数高级配置代码段（安全阀） 加 -use_local_tz_for_unix_timestamp_conversions=true 解决方案2： 用时
HIVE时间戳错误unix_timestamp时间不同环境相差8小时
u011250186的博客
01-07 2620
今天在迁移项目时，发现HIVE中unix_timestamp得到的时间在测试环境和线上环境不一致，相差8小时。 遂拿时间转换语句 select from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss') ; 去测试环境和线上环境测试： 测试环境： 同样的命令去线上环境查看： 发现确实相差8小时，这是为什么呢？ 语句都一样，猜测可能是环境版本不一样导致，遂立即查询两环境hive版本： 测试环境：2.1.1 线...
Hive 3.1.2 集成phoenix 5.0.0 HBase 2.0.5
gg1314723的博客
04-11 1016
Hive 3.1.2 集成phoenix 5.0.0 HBase 2.0.5 组件版本： hive 3.1.2、 hbase 2.0.5 、hadoop 3.1.3、 phoenix-5.0.0-HBase-2.0-bin 参考官网文档：https://phoenix.apache.org/hive_storage_handler.html#Performance%20Tuning 主要问题： 1、hbase集成phoenix之后，发现hbase日志存在warn 报错，且定时出现 2022-04-08 0
Impala中的时间函数
weixin_42570840的博客
06-13 6271
Impala时间函数
sqoop系列-MySQL导入HIVE时间格问题
数据新玩法
05-30 8062
问题描述 今天早上在做 sqoop MySQL 导入hive数据测试时发现 MySQL 中datetime和timestamp类型的数据导入hive时，选择不同的文件存储格式，会导致导入hive 后字段类型不一致。针对 MySQL 时间类型：datetime,date,time,timestamp 做了如下测试， 备注：涉及敏感信息的的变量，使用${xxxx} 代替 MySQL 数据信息...
新一代列式存储格式Parquet
热门推荐
Hello World
03-27 3万+
Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera(由于Impala的缘故)合作开发完成并开源，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，
简单理解parquet文件格式——按列存储和元数据存储
zhang35的博客
01-03 1万+
简介 Apache Parquet是一种常见的列式存储文件格式，常用于Pig, Spark, Hive等大数据组件中，其后缀是.parquet。 核心特点有： 跨平台 可被各种文件系统识别的格式 按列存储数据 存储元数据 下面详细介绍第3、4个特点。 列式存储 假设有以下数据表： #> id name age #> <int> <chr> <dbl> #> 1 1 n1 20 #> 2 2 n2
hive及impala数据同步doris方案
最新发布
06-20
因为Hive和Impala的数据通常都存储在HDFS上，所以我们可以将Hive/Impala表对应的HDFS文件作为数据源，通过BrokerLoad导入到Doris。这种方式需要先将Hive/Impala表的数据导出为文件（如Parquet、ORC等格式），然后...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值