hive 2.0 下，orc 格式的hive表 change column 后 字段对应的数据丢失

最新推荐文章于 2024-12-12 22:12:57 发布
最新推荐文章于 2024-12-12 22:12:57 发布
阅读量1.2k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/haohaixingyun/article/details/103423500
本文探讨了orc数据文件中保存的部分hive字段元数据信息导致的数据提取问题。当orc文件中的元数据与hive表结构不一致时，可能会出现数据提取失败的情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大牛初步分析原因是 orc 数据文件里面也会保存一部分hive字段元数据信息 ，修改后 ，新字段跟数据文件对不上 ，造成数据不能提取

Hive 表修改列名后内容为空的解决办法
weixin_41367158的博客
03-05 327
备注：解决办法不使用于所有 hive 版本。hive-3.1.3 支持。
hive修改字段名后数据丢失
onway_goahead的博客
08-23 1870
1. 内部表Parquet测试 CREATE TABLE `test.user_active_all_parquet_inner`( `imp_date` date COMMENT '活跃日期', `user_id` string COMMENT '用户id') COMMENT '用户每日活跃列表' PARTITIONED BY (`dt` string) stored as parquet hive.exec.dynamic.partition.mode=nonstric; insert into .
hive parquet 修改字段名 列原数据变NULL
xylf1988的专栏
03-07 866
alter table parquet_tb change column column_name_old column_name_new string comment '测试字段' cascade;1.在Hive的当前会话设置parquet.column.index.access=true属性（临时）Parquet格式的表，在重命名表的列名后，查询重名的列数据时显示当前列所有值为NULL。hive默认的读取parquet文件是按照名称读取的（orc默认是按序列号读取的），
HIVE 增加修改删除字段
m0_67266585的博客
06-08 499
增加字段可以使我们在所有字段之后和分区字段之间增加一个字段 使用格式 使用示例，在 中增加 字段，现有的表数据如下： 当我增加新的字段 后，新增字段前的数据该列显示为 ，那么如果我们新增一条数据呢？ 结论：非分区表新增字段后，原有数据的该字段会显示为 ，新增的数据会按新增的数据进行展示 还没结束，我们向 再新增 字段的时候再加下这两个 属性，看看会发生什么 添加 后执行失败，说明非分区表再添加字段时不能加 添加 后执行成功，该语法具体含义后面再述修改前 修改字段 的字段名称为
hive add columns后新插入列数据为空
qq_14814971的博客
08-08 4221
hive在新加列(add columns)后，再load数据时，理论上来说新增的列如果有数据的话会展示出来； 但是add和load后没有展示出对应的数据，hdfs的文件里是有对应的数据的，desc表结构时也有对应的字段； 但是在查看元数据时，发现表的元数据没有发生变化，没有新增加进这一列，具体原因还未知； 最终也没有找到具体的原因，个人觉得是元数据库的同步问题，类似于oracle的脏读，没有...
Mysql元数据如何生成Hive建表语句注释脚本详解
09-09
总的来说，通过查询MySQL的元数据并进行适当的转换，我们可以生成Hive的建表语句，确保在Hive中重建的数据表与原MySQL表结构一致，同时保留了字段注释，从而提高数据管理和使用的便利性。对于其他类型的关系型数据库...
hive 表创建及字段信息管理
热门推荐
MusicDancing的博客
11-25 1万+
1. 修改字段名或字段类型 hive表，能增加列，不可以删除列，但可以改列名; 对于分区表，要使用cascade才会对所有分区生效，否则，历史分区不会生效。 --修改字段名 alter table tablename change value1 value1_new string [cascade]; --修改字段类型 alter table tablename change column value1 value1 int [cascade]; --增加新字段 alter table tablen
Hive——HQL数据定义语言
m0_66925868的博客
12-12 1612
MySQL => 核心 => SQL语句：DDL ：数据定义语言，建库、建表DML ：数据操纵语言，增、删、改DQL ：数据查询语言，查DCL ：数据控制语言，用户与权限控制 => rootHive中的数据类型指的是Hive表中的列字段类型。原生数据类型（primitive data type）和==复杂数据类型数值类型、时间类型、字符串类型、杂项数据类型；array数组、map映射、struct结构、union联合体。关于Hive的数据类型，需要注意：英文字母大小写不敏感；。
HIve修改字段或者增加字段后，Spark访问不生效问题
BackToMe的博客
05-28 2823
问题重现（例） 当我将数据存储格式改变，或者增加一列的时候，我习惯使用了alter table add …来实现 原来的表： ALTER TABLE test ADD COLUMNS (weight STRING) CASCADE 加上一列weight字段后（这里使用cascade就是为了同步到hivemetastore），我用spark向表插入一个带有weight字段的表，此时抛出异常 Exception in thread "main" org.apache.spark.sql.AnalysisEx
解决 Spark2.X 查询Hive分区表修改后的字段为null？
一个写湿的程序猿
11-02 1420
在 Spark 2.3 以后, Spark 增加参数, 设定 ORC 文件使用采用向量化 Reader, 但是会引申由于 Spark SQL 无法与 Hive SQL 采用同一 SerDe 从而对 Parquet/Hive 数据表产生处理上的不同, 因此需要限定如下参数从而让 Spark 使用 Hive 的SerDe.
HIVE表修改列名后 值全变为null
aline12的博客
12-21 1848
解决方法： ALTER TABLE XXX SET TBLPROPERTIES ('parquet.column.index.access'='true');
hive：修改列名后查询结果全部变成null
啥也不会的博客
12-29 3129
用Hive创建的Parquet格式的表，在重命名表的列名后，查询重名的列数据时显示当前列所有值为NULL。 ALTER TABLE edw.dim_own_info_snp CHANGE userid user_id bigint COMMENT '用户id' 查询结果： 0: jdbc:hive2://hadoopcbd008098.ppdgdsl.com:2> select user_id from edw.dim_own_info_snp where dt='2020-12-28'
hive parquet 修改字段名 查询为空
Fread325的博客
08-11 1405
1.在Hive的当前会话设置parquet.column.index.access=true属性（临时）Parquet格式的表，在重命名表的列名后，查询重名的列数据时显示当前列所有值为NULL。hive默认的读取parquet文件是按照名称读取的（orc默认是按序列号读取的），这个参数的功能是使hive读取parquet文件时使用序列号读取。...
Hive查询表，返回数据全是NULL
weixin_30836759的博客
05-23 519
情况1： hive> create table users(id int, name string); hive>load data local inpath '/usr/local/users.txt' into table users; 其中“/usr/local/users.txt”的内容为下面所示，每一行的（id，name）之间使用一个空格分割。 1 lee2 ...
hive 修改表结构后回溯数据发现新增字段值为空的问题解决方案
云想慕尘的专栏
03-03 2921
问题描述 通过alter table 增加字段： ALTER TABLE dw.video_profile CHANGE p_album p_album string AFTER p_content_phrase; ALTER TABLE dw.video_profile CHANGE p_content_quality p_content_quality string AFTER p_album; 然后回溯数据，overwrite写到昨日分区，写完后查询发现昨日分区新增的字段中值为空。 原因 hive
Hive改表结构的两个坑|避坑指南
数据一哥，公众号：数据社
09-17 5147
Hive在大数据中可能是数据工程师使用的最多的组件，常见的数据仓库一般都是基于Hive搭建的，在使用Hive时候，遇到了两个奇怪的现象，今天给大家聊一下，以后遇到此类问题知道如何避坑！坑...
Hive分区表的新增字段数据为null的问题解决方法
笑看风云路的博客
04-07 1042
修改Hive分区表结构以后，元数据库中的SDS中该表对应的CD_ID会改变，但是该表历史分区下面对应的CD_ID还是原来表的CD_ID，导致无法获取新增加字段的值数据。使用cascade关键字之后，历史分区使用的元数据CD_ID也会统一修改，所以不存在通过insert overwrite覆写历史分区数据时出现新增字段为NULL的问题。注意：这种方法是预防insert overwrite覆写历史分区数据时出现新增字段为NULL的问题，等问题出现的时候就需要使用方法1来解决。
Hive ORC 和 Parquet 格式的表改变列名后列内容为空的解决办法
houzhizhen的专栏
10-13 1911
此解决办法不使用于所有 hive 版本。hive-3.1.3 支持。此解决办法不使用于所有 hive 版本。hive-3.1.3 支持。如果没有问题，则执行。如果没有问题，则执行。
解决hive表新增的字段查询为空null问题
星空的风fly
05-14 4159
一、问题点 有一个hive外部表，分区字段是tp和month，新增了几个字段fee_org_id，applied_date_time，pop_coop_mode_type_cd，fee_company后，insert overwrite重跑分区数据， SELECT * FROM app.app_yhzz_pop_bill_indicator_result WHERE tp = 'yt' AND month = '2021-04' 用hive引擎查询如下，新增的几个字段是null 而用prest
hive 新增字段
最新发布
07-03
<think>我们正在讨论Hive表中添加新字段的问题。根据用户的问题“我想在Hive表中添加新字段请问Hive addnew columnto table”，我们需要提供在Hive中添加新列的方法。根据引用[1]和[2]，我们可以使用ALTERTABLE ...ADD COLUMNS语句来添加新列。具体步骤：1.添加单个列：可以使用`ALTER TABLEtable_nameADD COLUMNS(new_col INT);`，其中new_col是列名，INT是数据类型。2.添加多个列：可以一次添加多个列，例如：`ALTERTABLE table_name ADDCOLUMNS (c1INT,c2STRING);`3.添加列并添加注释：`ALTER TABLEtable_nameADD COLUMNS(new_col INTCOMMENT 'a comment');`注意：-默认情况下，新列会被添加为最后一列。-如果表是分区表，则需要在添加列之前指定分区（但根据引用[4]，ALTERTABLE ADDCOLUMNS也可以用于分区表，但语法中不需要指定分区，因为它是表级别的操作，会应用到所有分区）。另外，引用[2]提到了REPLACECOLUMNS，但这是用于替换所有列（即删除现有列并添加新列集），通常用于删除列或完全改变表结构。而用户只是添加新列，所以应该使用ADDCOLUMNS。引用[3]提醒我们，对于ORC类型的表，使用REPLACECOLUMNS删除列可能会抛出异常，但我们的操作是ADDCOLUMNS，所以不受此影响。引用[4]详细说明了CHANGE COLUMN，它用于更改现有列（如重命名、修改类型、位置等），而不是添加新列。因此，添加新列应使用ADDCOLUMNS。因此，我们给出以下示例：假设我们有一个表`employee`，现在要添加一个`age`列，数据类型为INT，并添加注释“员工年龄”： ```sqlALTER TABLEemployee ADDCOLUMNS (age INTCOMMENT '员工年龄'); ```如果要添加多个列，比如`age`和`address`： ```sqlALTER TABLEemployee ADDCOLUMNS (age INTCOMMENT'员工年龄',address STRING COMMENT'家庭住址'); ```注意事项：1.添加列操作不会影响现有数据。当查询时，新列的值对于旧数据会显示为NULL（除非表使用特殊的SerDe，但通常如此）。2.如果表是分区表，添加列后，新列也会出现在所有已有分区中。3.在Hive中，不能指定新列的位置（除了成为最后一列），除非使用CHANGE COLUMN语句来调整列的顺序（引用[4]提到CHANGECOLUMN可以改变列的位置，但ADD COLUMNS不能）。所以，如果需要在特定位置添加列，可以先添加列，然后用CHANGECOLUMN移动列的位置，但这需要多个步骤。例如，如果我们想在`name`列后面添加`age`列，可以先添加列，然后将列移动到指定位置： ```sql--先添加列（成为最后一列） ALTERTABLE employeeADD COLUMNS(ageINT COMMENT'员工年龄');--然后将age列移动到name列后面ALTER TABLEemployee CHANGECOLUMNage ageINTCOMMENT'员工年龄'AFTER name; ```但是，请注意，移动列位置可能会比较繁琐，特别是对于有很多列的表。另外，引用[4]提到，ALTER TABLECHANGE COLUMN命令可以使用CASCADE或RESTRICT（默认RESTRICT）。在添加列时，我们通常使用默认的RESTRICT，因为它只修改表元数据。而CASCADE会级联到所有分区元数据（在Hive1.1.0及以上版本可用）。对于ADD COLUMNS操作，它本身就是表级别的操作，会自动应用到所有分区，所以不需要指定CASCADE。因此，我们推荐使用ADDCOLUMNS来添加新列。最后，生成相关问题。</think>### Hive 表中添加新字段的方法 在 Hive 中向现有表添加新字段，主要使用 `ALTER TABLE ... ADD COLUMNS` 语法。以下是详细操作指南： #### 1. **添加单个字段** ```sql -- 基本语法（默认添加到最后一列） ALTER TABLE table_name ADD COLUMNS (new_column_name data_type); -- 示例：添加 INT 类型的 age 字段 ALTER TABLE employee ADD COLUMNS (age INT); ``` #### 2. **添加多个字段** ```sql -- 同时添加多个字段 ALTER TABLE table_name ADD COLUMNS ( column1 data_type, column2 data_type ); -- 示例：添加 salary (DOUBLE) 和 department (STRING) 字段 ALTER TABLE employee ADD COLUMNS ( salary DOUBLE, department STRING ); ``` #### 3. **添加带注释的字段** ```sql -- 添加字段并设置注释 ALTER TABLE table_name ADD COLUMNS ( new_column_name data_type COMMENT '字段描述' ); -- 示例：添加带注释的 join_date 字段 ALTER TABLE employee ADD COLUMNS (join_date DATE COMMENT '入职日期'); ``` #### 4. **添加字段到指定位置** > *需配合 `CHANGE COLUMN` 实现（Hive 0.14+）* ```sql -- 先添加字段 ALTER TABLE employee ADD COLUMNS (phone STRING); -- 再移动字段位置（将 phone 移到 email 后） ALTER TABLE employee CHANGE COLUMN phone phone STRING AFTER email; ``` --- ### ⚠️ 重要注意事项 1. **元数据更新** 添加列操作 **仅修改元数据**，不影响现有数据文件。查询时新字段值为 `NULL`[^4]。 2. **分区表处理** 对分区表执行 `ADD COLUMNS` 后： ```sql -- 新字段会自动添加到所有分区 ALTER TABLE partitioned_table ADD COLUMNS (new_col INT); ``` 3. **SerDe 兼容性** - 对于 ORC/Parquet 等格式表，避免使用 `REPLACE COLUMNS` 删除字段，可能引发 SerDe 异常[^3]。 - 添加字段时优先使用 `ADD COLUMNS` 而非 `REPLACE COLUMNS`[^2]。 4. **保留关键字处理** 若字段名是保留关键字（如 `date`），需使用反引号： ```sql ALTER TABLE logs ADD COLUMNS (`date` STRING); ``` --- ### 示例完整流程 ```sql -- 创建示例表 CREATE TABLE employee ( id INT, name STRING, email STRING ); -- 添加多个字段（带注释） ALTER TABLE employee ADD COLUMNS ( age INT COMMENT '员工年龄', salary DOUBLE COMMENT '月薪' ); -- 验证表结构 DESCRIBE employee; ``` 输出结果： ``` id int name string email string age int 员工年龄 salary double 月薪 ``` --- ### 常见问题解决 **Q: 添加字段后查询显示 `NULL`？** A: 这是预期行为，Hive 不会自动填充历史数据。需通过 `INSERT` 或 `UPDATE`（需启用 ACID）填充新字段值[^4]。 **Q: 分区表添加字段后新分区不显示？** A: 确保使用 Hive 0.14+ 版本，新字段会自动同步到所有分区元数据[^4]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值