hive和impala操作parquet文件timestamp带来的困扰

最新推荐文章于 2022-06-13 18:21:40 发布
原创 最新推荐文章于 2022-06-13 18:21:40 发布 · 3.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#parquet #timestamp #hive #impala

在将数据从一个CDH5.9集群迁移到另一个时，发现Hive查询Parquet文件中的timestamp比Impala多了8小时。问题源于Hive的timestamp在Parquet中不使用标准的LogicalType，而是与Impala的实现兼容。解决方案是通过Hive的to_utc_timestamp函数转换时间，并用ORCFile存储，但Impala不支持ORCFile，最终采用妥协方案：Hive离线处理后推送到Impala或DB，保存为Impala支持的格式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言：准备使用hive作数据仓库，因历史遗留问题，原先遗留的数据处理都是impala处理的，数据文件是parquet文件，因本身集群资源少，而处理的文件很大，准备使用hive离线分析将小文件推送到db或者impala进行展示操作。

准备：搭建cdh5.9，将原有的数据从一个集群迁移到现有的集群。对数据按照天进行动态分区，分区数据仍然使用parquet格式。

问题：因分区字段为timestamp类型，一个偶然的机会发现了一个诡异的问题，hive查询的时间比impala查询的时间多了8个小时，和原始数据进行比对发现hive处理的timestamp数据有问题。


Based on this discussion it seems that when support for saving t

最低0.47元/天 解锁文章

200万优质内容无限畅学
flink写parquet解决timestamp时间格式字段问题
luohualiushui1的专栏
01-25 1464
"size": 12}]支持parquet.avro.writeFixedAsInt96 参数的传入，这个是avro fixed类型转换为parquet的int96类型的关键自定义writer支持传入parquet.avro.writeFixedAsInt96 参数至此，flink2parquet支持timestamp类型字段写入并能在hive正确访问。
java读parquet文件乱码,Hadoop系统Parquet文件的Timestamp类型的时区问题
weixin_28987465的博客
03-16 555
Hive在0.8的版本后开始支持Timestamp的格式。Hive在储存时间戳的时候会先把时间转成UTC的时间，然后再把转换后的时间存储到Parquet文件中。在读取Parquet文件的时候Hive会把时间从UTC时间再转化回成本地的时间。这样的话，如果存和读取都是用Hive的话，时间不会有任何的问题。上述说的是用Parquet文件来存取时间格式流程，如果是存成普通的文本文件的话，存取都不会进行任...
sqoop import hive parquet表timestamp,decimal转换问题
docsz的博客
12-24 1623
sqoop mysql导入hive parquet表timestamp,decimal
impala 本年格式化时间,Impala时间戳与Hive不匹配 - 时区问题？
weixin_42213451的博客
02-06 264
I have some eventlog data in HDFS that, in its raw format, looks like this:2015-11-05 19:36:25.764 INFO [...etc...]An external table points to this HDFS location:CREATE EXTERNAL TABLE `log_stage`(`...
impala 时区问题
hyfstyle的博客
10-26 1765
impala 默认配置不是中国时区，所以格式化时间戳的时候 用from_unixtime ，有八个小时的时间差 如果不重启impala服务 可以用时间函数增加8小时，暂时获取正确的格式化日期：hours_add(from_unixtime(cast(substring( TIME_STAMP,1,10) as bigint),’yyyy-MM-dd HH:mm:ss’),8) 或者直接修改impala配置并重启impala服务即可： Cloudera Manager -> Impala -> 配
Parquet的timestamp类型转为long
yingkongshi99的专栏
05-20 5258
由于sparksql使用parquet文件存储数据时，有个默认参数spark.sql.parquet.int96AsTimestamp为true，即为保持精度，使用96位的int来存储Timestamp类型，这就为使用java代码解析Timestamp类型带来了麻烦，下面为转换工具类。 package com.le.tp.digitalmarketing.hotword.util; im
Hive底层文件存储类型parquet
resin_404的博客
06-09 5116
Hive作为数据仓库常用工具之一，在数据量级越来越大的时候，存储问题会暴露出来。那么在之前大部分为了省事方便都会以TextFile*作为存储类型，此类型比较占存储，并且查询效率并不是很高。为了节省集群的存储空间，研究了各种存储类型，网上各类帖子已经把这几类的优缺点和使用场景说的非常明确。我在这稍微提及一下，主要想分享我在使用sqoop抽取数据时进行文件类型转换（parquet）遇到的坑，共享出来希望遇到此问题的朋友借鉴，减少不必要时间消耗。* 一、概述一下各类文件类型的优缺点 1.TextFile 行存储，
impala创建parquet文件的外表及两个容易忽略的陷阱
fyb1990的博客
04-21 3378
impala外表的创建方法impala创建外表有两种方式，一种由impala-shell 进行创建，一种通过hive shell进行创建。impala-shell 进行创建准备工作连接impala-shell在文本中书写impala的创建表语句例子create table stats_xxxx_day( ID STRING, STATDATE STRING ) partition by(p_sta...
Spark & Hive 关于parquet格式文件的区别
搬砖の隔壁老王
09-18 2804
因为数据之前一直都在MySQL库中保存，现在需要将部分数据移到hive库中，由于数据在MySQL是分库分表存储的，试了很多方式直接从MySQL到Hive库中都没有成功，于是，采用spark读取MySQL数据输出到parquet文件中，再load到Hive中，这才遇到了这个问题。 将spark输出的parquet文件按分区load到hive中，出现load到hive中的字段比...
Impala和Hive之间的SQL差异
xu704928452的博客
11-08 3594
Impala和Hive之间的SQL差异 Impala的SQL语法遵循SQL-92标准，并且在内置功能等领域包括许多行业扩展。有关将SQL代码从各种数据库系统移植到Impala的一般讨论，请参见将SQL从其他数据库系统移植到Impala。 由于Impala和Hive共享相同的metastore数据库，并且它们的表经常互换使用，因此以下部分详细介绍了Impala和Hive之间的区别。 HiveQL功能...
在hive中直接对timestamp类型取max报错
weixin_30640769的博客
04-05 971
之前直接对timestamp类型做max操作， select id,max(updatetime) updatetime from his.tag group by id; 结果查询的结果有的显示为1970-01-01，如下图： 解决办法： 先将timestamp类型用unix_timestamp函数转换成bigint 然后进行取max操作，最后再将结果通过from_un...
hive集群的迁移及遇到的相关问题
analysis_data的博客
01-19 655
hive集群的迁移，从一个服务器迁移到另一个服务器，网上的方法有很多，经本人实际操作，感觉好上手操作的，步骤如下：1. 设置默认需要导出的hive数据库vi ~/.hivercuse xx数据库;2. 创建数据临时目录hdfs dfs -mkdir /tmp/hive-export3.生成导出数据脚本hive -e "show tables " | awk '{printf "export tab
TimeQuest中取值为负数的建立时间问题
miffywm的博客
05-12 1231
TimeQuest中取值为负数的建立时间问题 使用quartus进行时序分析中发现TimeQuest中utsu出现负值，问题原因及分析如在下链接： https://www.veryarm.com/127446.html 结论： TimeQuest在这一点上是没错的。负的建立时间是特定时序模型的特点，模型在器件上不同的位置具有不同的特征参数。负的建立时间和寄存器靠近引脚有关。我们不必关心，交给工具去处理好了。 ...
关于 Impala 时区晚8个小时的问题
雾岛与鲸的博客
12-17 1462
默认impala配置不是中国的时区，所以在用from_unixtime的时候，有八个小时的时间差。 解决方案1: impala启动时加 -use_local_tz_for_unix_timestamp_conversions=true。 在cdh里面，impala->配置->mpala Daemo ->Impala Daemon 命令行参数高级配置代码段（安全阀） 加 -use_local_tz_for_unix_timestamp_conversions=true 解决方案2： 用时
HIVE时间戳错误unix_timestamp时间不同环境相差8小时
u011250186的博客
01-07 2620
今天在迁移项目时，发现HIVE中unix_timestamp得到的时间在测试环境和线上环境不一致，相差8小时。 遂拿时间转换语句 select from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss') ; 去测试环境和线上环境测试： 测试环境： 同样的命令去线上环境查看： 发现确实相差8小时，这是为什么呢？ 语句都一样，猜测可能是环境版本不一样导致，遂立即查询两环境hive版本： 测试环境：2.1.1 线...
Hive 3.1.2 集成phoenix 5.0.0 HBase 2.0.5
gg1314723的博客
04-11 1016
Hive 3.1.2 集成phoenix 5.0.0 HBase 2.0.5 组件版本： hive 3.1.2、 hbase 2.0.5 、hadoop 3.1.3、 phoenix-5.0.0-HBase-2.0-bin 参考官网文档：https://phoenix.apache.org/hive_storage_handler.html#Performance%20Tuning 主要问题： 1、hbase集成phoenix之后，发现hbase日志存在warn 报错，且定时出现 2022-04-08 0
Impala中的时间函数
weixin_42570840的博客
06-13 6275
Impala时间函数
sqoop系列-MySQL导入HIVE时间格问题
数据新玩法
05-30 8062
问题描述 今天早上在做 sqoop MySQL 导入hive数据测试时发现 MySQL 中datetime和timestamp类型的数据导入hive时，选择不同的文件存储格式，会导致导入hive 后字段类型不一致。针对 MySQL 时间类型：datetime,date,time,timestamp 做了如下测试， 备注：涉及敏感信息的的变量，使用${xxxx} 代替 MySQL 数据信息...
新一代列式存储格式Parquet
热门推荐
Hello World
03-27 3万+
Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera(由于Impala的缘故)合作开发完成并开源，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，
hive及impala数据同步doris方案
最新发布
06-20
<think>我们正在讨论将Hive和Impala的数据同步到Doris的方案。Doris（原ApacheDoris）是一个现代化的MPP（大规模并行处理）分析型数据库产品，支持实时数据分析。以下是一些可能的同步方案：1.**使用DataX进行数据同步**：DataX是阿里巴巴开源的一个异构数据源离线同步工具，支持多种数据源。我们可以编写DataX作业，分别从Hive和Impala读取数据，然后写入Doris。对于Hive，可以直接通过HDFS读取数据；对于Impala，由于Impala的数据也存储在HDFS上，所以也可以通过HDFS读取，或者通过JDBC读取（但JDBC方式可能较慢）。2.**使用Spark进行数据同步**：通过Spark读取Hive/Impala表的数据，然后写入Doris。Spark提供了强大的分布式计算能力，适合处理大量数据。我们可以使用Spark的HiveContext读取Hive表，使用JDBC读取Impala表（或者直接读取HDFS上的数据），然后利用Doris的SparkConnector写入Doris。3.**使用Flink进行实时同步**：如果需要实时或准实时同步，可以考虑使用Flink。通过Flink读取Hive/Impala的数据变化（对于Hive，可能需要监控HDFS文件变化；而Impala本身不支持实时数据变更的捕获，所以此方案可能更适用于Hive），然后将数据写入Doris。但注意，Impala通常用于交互式查询，其数据本身是静态的，所以实时同步可能不适用于Impala。4.**使用Doris的BrokerLoad**：Doris提供了BrokerLoad功能，可以直接通过Broker进程访问HDFS上的数据并导入到Doris中。因为Hive和Impala的数据通常都存储在HDFS上，所以我们可以将Hive/Impala表对应的HDFS文件作为数据源，通过BrokerLoad导入到Doris。这种方式需要先将Hive/Impala表的数据导出为文件（如Parquet、ORC等格式），然后使用BrokerLoad导入。5.**使用Sqoop**：Sqoop是一个在Hadoop和关系型数据库之间传输数据的工具。我们可以使用Sqoop从Hive（通过HDFS）或Impala（通过JDBC）导出数据到Doris。但是，Sqoop通常用于关系型数据库，而Doris支持MySQL协议，所以可以通过Sqoop的JDBC方式将数据导出到Doris。**具体步骤（以BrokerLoad为例）**：1.在Hive/Impala中将表数据导出到HDFS的某个路径（如果已经是HDFS上的外部表，则可以直接使用）。2.在Doris中创建目标表，表结构需要与Hive/Impala表结构一致。3.使用Doris的BrokerLoad命令将HDFS上的数据导入到Doris表中。示例BrokerLoad命令：```sqlLOADLABELlabel_name(DATAINFILE("hdfs://path/to/file")INTOTABLEtarget_tableFORMATAS"parquet")WITHBROKERbroker_name("username"="hdfs_user","password"="hdfs_password")PROPERTIES("timeout"="3600");```**注意事项**：-数据格式：需要确保Doris能够正确解析Hive/Impala导出的文件格式（如Parquet、ORC等）。-数据类型映射：注意Hive/Impala和Doris之间数据类型的对应关系。-增量同步：如果需要增量同步，可以考虑在Hive/Impala端记录增量数据（例如通过分区或者时间戳），然后只同步新增的数据。以上方案中，BrokerLoad和DataX是比较常用的离线同步方案，而Spark和Flink适合更复杂的处理场景。§§相关问题§§1.如何实现Hive到Doris的增量数据同步？2.使用BrokerLoad从HDFS导入数据到Doris时需要注意哪些问题？3.Doris支持哪些数据格式的导入？如何优化导入性能？</think>### Hive/Impala 数据同步到 Doris 的方案 #### 一、核心同步方案 1. **HDFS 文件直连同步**（推荐方案） Doris 支持直接读取 Hive/Impala 存储在 HDFS 上的数据文件： - **操作流程**： ```sql -- 创建 Doris 外部表映射 HDFS 数据 CREATE EXTERNAL TABLE doris_target_table PROPERTIES ( "type" = "HDFS", "path" = "hdfs://namenode:port/impala_data_path", "format" = "parquet" -- 支持 Parquet/ORC/CSV ); -- 通过 Broker Load 导入数据 LOAD LABEL sync_label (DATA INFILE("hdfs_path") INTO TABLE doris_table) WITH BROKER "broker_name"; ``` - **优势**： - 绕过计算层直接访问存储层，避免 Hive/Impala 查询性能瓶颈[^3] - 支持增量同步（通过分区路径过滤） 2. **JDBC 连接器同步** 通过 Doris 的 JDBC Catalog 直接查询 Hive/Impala： ```sql -- 创建 JDBC 数据源 CREATE CATALOG hive_jdbc PROPERTIES ( "type"="jdbc", "url"="jdbc:hive2://hiveserver:10000", "user"="user", "password"="pass" ); -- 定时增量同步 CREATE ROUTINE LOAD doris_load ON target_table PROPERTIES("format"="json") FROM KAFKA ( ... ) -- 或直接 INSERT INTO SELECT ``` #### 二、同步工具链方案 | 工具 | 适用场景 | 关键配置 | |------------|----------------------------|-----------------------------------| | **Apache SeaTunnel** | 大数据量批同步 | HiveSource -> DorisSink | | **DataX** | 结构化数据迁移 | HdfsReader + DorisWriter | | **Flink CDC** | 实时同步（需Hive事务表） | SQL: `INSERT INTO doris SELECT * FROM hive_table` | #### 三、关键注意事项 1. **元数据兼容性** - Doris 1.2+ 支持自动同步 Hive Metastore（通过 `hive.metastore.uris` 参数） - 类型映射需人工校验（如 Impala 的 `TIMESTAMP` 精度问题[^4]） 2. **性能优化建议** - 分区表同步：仅同步新增分区数据 ```sql LOAD LABEL ... (DATA INFILE("/path/date=2023*") ...) -- 通配符匹配分区 ``` - 大表同步：启用 Doris 的 `compaction` 机制预防小文件问题 3. **一致性保障** - 批处理场景：采用 `_success` 标记文件判断 HDFS 数据就绪 - 实时场景：通过 Kafka 中转实现 Exactly-Once 语义 #### 四、方案对比 | 方案 | 延迟 | 数据量上限 | 运维复杂度 | |--------------------|-----------|-----------|-----------| | HDFS 直连同步 | 分钟级 | PB级 | ★★☆☆☆ | | JDBC 查询同步 | 小时级 | TB级 | ★★★☆☆ | | Flink CDC 实时同步 | 秒级 | 百TB级 | ★★★★☆ | > **建议选择**： > - 常规场景：**HDFS 直连同步**（性价比最高） > - 实时分析：**Flink CDC + Doris** 组合方案
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值