hive1升级hive2使用RCFile内容错乱

最新推荐文章于 2024-01-20 17:14:43 发布
原创 最新推荐文章于 2024-01-20 17:14:43 发布 · 442 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive

本文探讨了在不同Hive版本间因默认SerDe变化导致的数据错乱问题。Hive1使用LazyBinaryColumnarSerDe，而Hive2则采用ColumnarSerDe，这可能导致数据读取时出现错误。解决方案是在建表时明确指定序列化类。

由于在Hive1中使用的RcFile格式存储并且没有指定Serde，当把数据文件拷贝的Hive2的目录下查询时发现数据错乱

原因：

hive1不指定Serde默认采用 org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe

hive2不指定Serde默认采用 org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe

只需要建表时指定对序列化类即可。

Flink SQL Hive Connector使用场景
数据与算法架构提升之路专栏
11-01 1977
本文基于FLink1.16讨论，Apache Flink Hive Connector提供了Flink与Hive的集成，主要用于在Flink中读取和写入Hive数据
【大数据Hive】hive select 语法使用详解
congge_study的博客
10-14 7587
hive 查询语法使用详解
hive建表存储格式造成的问题
快乐的瑾
09-22 849
用create table tableY as select 字段A，regexp_extractA,字段B，regexp_extractB from tableX 之后， 数据比原来多了5条 经查找，这5条都是其中一个字段为NULL，另外的字段全部='' 百思不得其解 后查询了下tableY建表的存储格式是默认的text，而tableX建表时用的是rcfile 将t
Hive_10. Hive中常用的 SerDe 和 当前社区的状态
热门推荐
Mike han
12-03 1万+
最近在 Google 上看到一篇在 Hive 中利用正则表达式来自定义反序列化处理文本文件。百度后发现这块知识目前还没有人系统的总结一下。 所以我就不才把之前记录的资料跟大家分享一下： SerDe 是Serializer 和 Deserializer 的简称。它是 Hive用来处理记录并且将它们映射到 Hive 表中的字段数据类型。为了更好的阐述使用 SerDe 的场景，我们需要了解一下 Hi
hive建表和插入格式问题
zwma_33的博客
12-15 803
本篇主要讨论建表，插表，表存储格式，字段分隔符，MR任务输入文件注意事项 有不正确的地方，还请指正 hive建表语句 下面的示例，建立表bankFilter，以 hp_settle_dt 划分分区，存储为 rcfile 格式，输入输出均为 RCFile 格式。 CREATE EXTERNAL TABLE ar_svcdb.bankFilter( pri_key string, log_cd string, hp_settle_dt_1 string) PARTITIONED BY ( hp_settle_
HIVE存储（三）RCFile
weixin_30670965的博客
12-11 163
　　RCFile（RecordColumnarFile）存储结构遵循的是“先水平划分，再垂直划分”的设计理念，这个想法来源于PAX。它结合了行存储和列存储的优点：首先，RCFile保证同一行的数据位于同一节点，因此元组重构的开销很低；其次，像列存储一样，RCFile能够利用列维度的数据压缩，并且能跳过不必要的列读取。 图4是一个HDFS块内RCFile方式存储的例子。 图4HDFS...
Hive中常用SerDe介绍
行走的树
07-04 3562
SerDe 是Serializer 和 Deserializer 的简称。它是 Hive用来处理记录并且将它们映射到 Hive 表中的字段数据类型。
Hive存储格式之RCFile详解，RCFile的过去现在和未来
鲁边的博客
08-14 1055
我在整理Hive的存储格式和压缩格式，本来打算一篇发出来，结果其中一小节就有很多内容，于是打算写成Hive存储格式和压缩格式系列文章。
CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
予挚之的博客
06-08 4699
这是博主在升级过程中遇到的问题记录，大家不一定遇到过，如果不是 CDH 平台的话，单是 hive 服务升级应该是不会有这些问题的，且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文，前面的升级步骤基本一致，但是升级过程只有我遇到了这些问题吗？单拎出来这些报错，度娘多多少少还是可以找到一些类似的解决方案，不过经过博主测试，都不能解决出现的问题，因此才有了此篇博文，当然最后也完美解决了所有问题，不保证后面使用过程中是否会出现问题，因为还没有进一步测试，但是升级和使用，是没有问题的。！
【大数据Hive】hive 行列转换使用详解
最新发布
congge_study的博客
01-20 8578
hive行列转换使用详解
Hive SerDe 序列化和反序列化数据框架介绍
weixin_63058507的博客
06-06 1677
除了上述常见的 SerDe 之外，Hive 还支持。
hive--给表名和字段加注释
qq_26645205的博客
08-17 5326
增加之后的注释，会在元数据库（一般在MySQL 中的 hive 库）中的 TABLE_PARAMS 表中显示，该表存储 表/视图 的属性信息。注意：comment一定要是小写的，不能是COMMENT，且必须要加单引号！4.字段名修改添加注释。
hive null and empty string--- 系列（二）-- RCFile
Elena_qi的博客
06-11 299
目的：预将hive中 null 与empty string 统一，便捷后续开发 问题：orc 文件 使用 SET SERDEPROPERTIES('serialization.null.format' = '') 失效 解决方案：探索 null 再各个file_format 的存储方式 RCFile （一）原始状态 ...
数据表字段不存在:[disassemble_id]_HIVE的学习之路（三）Hive的元数据对应MYSQL数据库表...
weixin_31115195的博客
01-25 893
概述Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。Hive的元数据信息在MySQL数据中有71张表（也有人不一样~）Hive一、存储Hive版本的元数据表（VERSION）VERSION -- 查询版本信息该表比较简单，但很重要。如果该表出现问题，根本进入不了Hive-Cli比如该表不存在，当...
Hadoop Hive sql语法详解
weixin_30355437的博客
02-14 7202
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户...
Hive建表时候用的参数及其含义
qq_52310720的博客
01-18 1393
这个时候就要理解什么是外部表，通常我们会用到的MySQL，Oracle这种都是内部表，外部表就例如Hive这种，下面是一些具体区别：定义位置：内部表是在数据库内部定义和存储的，而外部表是在数据库外部定义和存储的。存储位置：内部表的数据存储在数据库的数据文件中，而外部表的数据通常存储在独立的文件系统或外部数据源中，如操作系统的文件系统、分布式文件系统、Hadoop等。数据访问：内部表的数据可以直接由数据库管理系统进行读取和处理，而外部表需要通过数据库连接器或外部数据源的接口进行访问和操作。
彻底搞懂 Hive｜Spark DDL语句 ｜ ALTER 语法
半吊子Kyle的博客
07-24 6111
HIVE 的DDL语句中的 ALTER 语法你了解多少，本博客让你彻底搞懂
Hive多表连接异常，java.lang.ArrayIndexOutOfBounds ：140，官方Bug，在3.0.0版本已经被解决了
wunanliu的采坑日记
03-01 5455
后续官方解决方案：https://issues.apache.org/jira/browse/HIVE-14564 异常详细情况 2019-02-28 16:33:44,429 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Got allocated ...
Hive使用RCFile存储优化与示例
"这篇资料主要介绍了使用RCFile作为Hive数据存储格式的原理与实践，以及Hive的一些基本操作和配置。" RCFile (Record Columnar File Format) 是一种混合行存储与列存储的文件格式，它在Hive中被广泛用于提高数据...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值