hive新增字段以后，插入成功但是显示为null

最新推荐文章于 2024-06-08 16:28:43 发布
最新推荐文章于 2024-06-08 16:28:43 发布
阅读量847 收藏 1
点赞数
分类专栏： Hadoop hive 文章标签： hive hadoop
原文链接：https://blog.youkuaiyun.com/xiaoge_blog/article/details/86636115
版权


hive新增两个字段，执行脚本没有报错，select出来以后值为空

然后单独执行代码发现，数据不为空

解决方法：

1.show create table table_name;找到该表元数据的存储路径

2.删除该分区路径下的deflate文件：

hadoop fs -rm hdfs://ns1/user/hive/warehouse/xxx.db/table_name/dt=2019-01-20/000000_0.deflate

即可重新初始化数据，重新select显示正常。
 

Hive分区表的新增字段数据为null的问题解决方法
笑看风云路的博客
04-07 1031
修改Hive分区表结构以后，元数据库中的SDS中该表对应的CD_ID会改变，但是该表历史分区下面对应的CD_ID还是原来表的CD_ID，导致无法获取新增加字段的值数据。使用cascade关键字之后，历史分区使用的元数据CD_ID也会统一修改，所以不存在通过insert overwrite覆写历史分区数据时出现新增字段为NULL的问题。注意：这种方法是预防insert overwrite覆写历史分区数据时出现新增字段为NULL的问题，等问题出现的时候就需要使用方法1来解决。
Hive分区表新增字段后，重新导入数据发现新增的数据字段为Null
杨鑫newlife的专栏
10-21 1353
问题描述： 对于已有分区的Hive表，新增部分字段，并且重新导入数据至该分区后查询数据，则会发现数据表中，新增加的字段为NULL空值。 原因： 当我们对已有分区的Hive表做新增字段操作，其实是对表的原数据（表 - 字段关系）进行修改，但是没有修改（分区 - 字段关系）。 因此查询的时候，依旧查询出来的是分区-字段关系。而不是表-字段关系。 解决办法： 方案一....
Hive分区表新增字段后插入数据显示为null
u011250186的博客
12-29 1788
对Hive分区表进行新增字段后，会出现一个奇怪的情况，就是往 已经存在的 分区中装载数据后，某些字段的值显示为null，但实际情况是数据文件中对应的字段值其实是有值的。 下面我们重现该问题： 创建一个分区表 往表中装载数据 给表新增分区 再往表中装载数据并查询 数据装载成功后，通过查询可以看出，新创建的分区中数据显示正常，但是已经存在的time=20171010分区中新增数据后，新增的字段显示为null。难道数据没有插入成功？ 查看分区表在HDFS上对应的数...
Hive中插入数据全为空（sql无误的情况下）
小白白的博客
07-22 5307
（作者：陈玓玏 data-master） 如果sql无误的情况下，其实这个问题很好解决。一个很可能的原因就是： 写入的数据类型和建表时定义的数据类型不一致。 我之前碰到这个问题，检查了sql很多遍，上层表的数据也检查了很多遍，都是没有问题的。这个时候，可以选择几条数据，不写入表，直接看结果，发现是有结果的。 再检查建表语句，发现建表语句是： create table tmp.a (id int ,name string ,class_one float ,class_two float ,class_thr
hive修改表结构后插入数据查询为空
SW_LCC的博客
03-31 1074
最近使用hive的时候发现，当修改已存在的表，添加另外的列，然后插入数据，发现新插入的数据中，里面的新列数据皆为NULL。（当前hive版本为2.1.0) 查了一下资料，发现hive的元数据表SDS中，该表的CD_ID值为旧值，在更新表结构后该CD_ID有改动。 解决办法： 1.如果要解决这个问题，可以手动的修改SDS表中该数据表对应的CD_ID值。 2.可以手动的给该表的分区加上新增的列,如: ...
hive：数据入库后显示为null值
ziyin_2013的博客
05-22 2690
近日遇到现查SQL是有值的，但是写入到库表中显示为null值，经排查发现因为数据超出了建表时设置的字段长度导致的。 问题 将SQL统计的聚合结果写入到库表中发现有null值，但是直接跑SQL逻辑是有值的。 --建表 CREATE TABLE IF NOT EXISTS testdb.scenes_audit_amount_20220512 ( create_month string comment '月份', pid string comment '编号', audit_amou
Hive新增字段相关问题
weixin_42937781的博客
07-08 1275
Hive新增字段导致旧分区新增数据新增字段展示异常。
Hive分区表新增字段值为NULL
Sin_Geek成长の迹
03-08 964
背景 对于HIVE分区表通过add column添加字段，向已存在分区中插入数据，结果新增字段的值全部为null。 已存在分区会产生该问题，新分区不会产生该问题。 原因 实际上数据是插入成功的。HDFS上的数据更新了，但是我们查询的时候仍然查询的是旧的元数据信息（即Mysql中的信息） 官方解释如下： Change Column Name/Type/Position/Comment ALTER T...
hive往分区表里插入数据之后查不到_Hive入门实战（三）DML数据操作
weixin_32042331的博客
01-31 3621
一、Hive数据操作---DML数据操作1、数据导入第一种方式：向表中装载数据（Load）//语法 hive> load data [local] inpath '/opt/module/datas/student.txt' overwrite | into table student [partition (partcol1=val1,…)];load data:表示加载数据local:表...
CentOS7 Hive 插入数据全部为Null
zhouzhiwengang的专栏
07-05 1111
Hive 第一次创建库脚本： create table pokes (foo int, bar string) Hive 调整后的建库脚本： create table pokes (foo int, bar string) row format delimited fields terminated by ',' 请注意我新增的脚本片段：row format delimited fi...
解决Hive建表之后，插数据为空（亲测有效）
Li20030219的博客
06-08 1193
解决Hive建表之后，不能正常插入数据，反复插入依然无效
hive建表导入数据后显示NULL
weixin_67816885的博客
08-13 2443
hive导入数据显示null
Hive分区表新增字段数据显示为NULL
埋雷兽的博客
06-22 6614
hive的分区表在新增字段后，新增字段的数据显示NULL。hive分区表新增字段，新分区表字段能够显示，老的分区表字段无法显示，在hdfs上显示正常。 测试具体情况： 1、创建一个测试表 2、插入一条数据 insert into table cyx_test partition(dt='20180101') values('0101','java','shenz...
往hive导入查询数据全为NULL，但导入过程无报错，mysql/postgresql
IKnowNothinglee的博客
06-06 4497
今天导数遇到一个问题，通过sqoop import从 postgresql导数据到hive中后，发现查询出来全部都是空的： 检查导入命令，没有错啊： [root@dthost25 ~]# sqoop import --connect jdbc:postgresql://192.168.xxx.xxx:5432/xxxxdb --username xxxx --password xxxxxxx ...
导入hive表数据为空问题解决
weixin_43870699的博客
12-29 3569
一、现象 （1）在本地运行hql时，数据可以正常插入，执行hql文件时，数据插入表时，查不到数据。 （2）使用TEZ引擎时，hql执行不通过，报错；使用MR运行时，可以通过，但是无数据输出。 二、排查 经过排查，发现sql中有一个三个表union all的语句，只要一执行到这个语句，数据就会为空，hql如下： select group_id,uid,day from ods.tmp union all s...
hive分区表中--新增字段，发现数据为null的坑
iilegend的博客
06-22 3633
数仓开发过程中，经常会有需求变更，添加字段的情况所在，添加完了字段还需要重新跑数据，重新将这个字段的数据加载进去，但是会出现一个坑就是加载的数据为null。 问题所在： 对于分区表添加字段，向已存在分区中插入数据，结果新增字段的值全部为null。 alter table xunying add colums(name string); insert overwrite table x...
Hive 1.1.0分区表新增字段后，数据为空的解决办法
风在身后的专栏
05-05 2238
如果使用alter table add column语句对分区表增加字段时没有使用cascade关键字，会导致Hive只维护了表的元数据，而没有分区的元数据。 现象就是，重新insert overwrite了历史有数据的分区，但是select 新增字段仍然没有数据。 起初，我以为是BUG，但是查看了官方文档发现并不是BUG。 官方文档描述如下： The CASCADE|RESTRICT c...
如何在hive表中的任意列中插入一列
最新发布
04-18
<think>好的，用户现在的问题是关于如何在Hive表中指定位置插入新列或者修改表结构来添加列。首先，我需要回顾之前和用户的对话历史。用户之前询问了Oracle中处理连续登录的问题，我给出了详细的解决方案，包括表设计、SQL查询、性能优化等。现在用户转向Hive，可能是在处理大数据环境下的类似需求，但具体问题不同。 用户当前的查询有两个部分：一是如何在Hive表的任意位置插入列，二是如何修改表结构来实现这一点。我需要确认Hive是否支持在指定位置添加列，因为Hive和传统的关系型数据库（如Oracle）在表结构修改方面有所不同。根据Hive的文档，Hive 0.14及以上版本支持ALTER TABLE ADD COLUMNS，但默认情况下只能在末尾添加列，无法在指定位置插入。不过，用户可能有方法绕过这个限制。 我需要先解释Hive的默认行为，即只能在末尾添加列，然后提供变通方法。可能的解决方案包括使用CTAS（Create Table As Select）重新建表，并调整列的顺序，或者使用视图来模拟列的顺序。此外，还要提到修改列名和类型的情况，以及注意事项，比如数据备份和权限问题。 同时，需要考虑用户可能的深层需求。用户可能需要在现有表中插入列而不影响已有数据，或者希望保持表的兼容性，比如与下游应用或报表工具的集成。此外，用户可能对Hive版本有特定要求，需要指出不同版本的支持情况。 需要验证这些方法的正确性，确保提供的SQL示例是准确的，比如使用ALTER TABLE ADD COLUMNS的正确语法，以及CTAS方法中的列顺序调整。还要提醒用户关于数据迁移和元数据变更的影响，例如分区表可能需要额外处理。 最后，总结最佳实践，建议在开发环境测试，并考虑使用视图作为临时解决方案，直到可以重建表结构。同时，提供相关问题，帮助用户扩展知识，比如如何重命名列、处理复杂数据类型或迁移分区表，这些都可能与用户的后续需求相关。</think>### Hive表结构修改指南：指定位置添加新列 在Hive中实现列位置调整需要特殊处理，因为Hive 3.0之前的版本不直接支持`AFTER column_name`语法。以下是三种实践验证的解决方案： #### 一、Hive原生方法（3.0+版本） ```sql -- 支持AFTER语法的版本要求：Hive 3.0及以上 ALTER TABLE user_log ADD COLUMNS ( new_column STRING COMMENT '新字段' AFTER exist_column ); ``` *注意：需确认Hive版本，可通过`SELECT version();`查询[^4]* #### 二、通用解决方案（全版本适用） 通过CTAS（Create Table As Select）模式重建表： ```sql -- 步骤1：创建临时表 CREATE TABLE tmp_user_log AS SELECT col1, col2, 'default_value' AS new_column, -- 新列插入位置 col3, col4 FROM origin_user_log; -- 步骤2：数据验证 DESCRIBE tmp_user_log; -- 确认列顺序 SELECT COUNT(*) FROM tmp_user_log; -- 验证数据完整性 -- 步骤3：替换原表 DROP TABLE origin_user_log; ALTER TABLE tmp_user_log RENAME TO origin_user_log; ``` #### 三、视图过渡方案 ```sql CREATE VIEW v_user_log AS SELECT col1, col2, CAST(NULL AS STRING) AS new_column, -- 类型占位 col3, col4 FROM origin_user_log; -- 配合业务层处理默认值 ``` #### 四、复杂表结构修改流程（含分区表） ```sql SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; CREATE TABLE new_user_log ( col1 STRING, new_col STRING, -- 新增列位置 col2 INT, ... ) PARTITIONED BY (dt STRING); INSERT OVERWRITE TABLE new_user_log PARTITION (dt) SELECT col1, 'default_value', -- 新列默认值 col2, ... dt FROM origin_user_log; ``` #### 五、元数据直接修改（高风险操作） *仅限外部表且已知文件格式的情况* ```sql -- 修改元数据（需管理员权限） ALTER TABLE user_log CHANGE COLUMN col3 col3 STRING COMMENT 'modified' AFTER new_column; ``` $$ \text{成功率} = \begin{cases} 1 & \text{当文件格式为ORC/Parquet且列数匹配} \\ 0.2 & \text{其他情况} \end{cases} $$ #### 最佳实践建议： 1. 使用`DESCRIBE FORMATTED table_name`确认表属性 2. 修改前执行`EXPORT TABLE`备份[^5] 3. 分区表需单独处理每个分区 4. 使用`CASCADE`选项同步元数据： ```sql ALTER TABLE table_name ADD COLUMNS (new_col STRING) CASCADE; ``` #### 版本特性对比： | 方法 | Hive 1.2 | Hive 2.3 | Hive 3.0+ | |------|----------|----------|-----------| | AFTER语法 | ❌ | ❌ | ✅ | | CTAS保留权限 | ❌ | ✅ | ✅ | | 事务表支持 | ❌ | ✅ | ✅ |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值