hive1.2.1 分区表 增加列显示为null 问题

最新推荐文章于 2022-11-09 09:08:55 发布
原创 最新推荐文章于 2022-11-09 09:08:55 发布 · 389 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在Hive中添加字段后导致旧数据无法读取的问题，并提供了三种解决方案：更新元数据表中的字段ID、删除并重新添加分区，以及使用ALTER TABLE CASCADE进行强制更新。

1.问题 hive中增加字段 发现之后之后添加的数据正常，之前数据无法读取
问题修复：
查找hive元数据的分区字段边 SDS

MySQL [hive]> SELECT * FROM SDS WHERE location LIKE '%video_test%' ;  
+--------+-------+------------------------------------------+---------------+---------------------------+--------------------------------------------------------------------------------+-------------+------------------------------------------------------------+----------+
| SD_ID  | CD_ID | INPUT_FORMAT                             | IS_COMPRESSED | IS_STOREDASSUBDIRECTORIES | LOCATION                                                                       | NUM_BUCKETS | OUTPUT_FORMAT                                              | SERDE_ID |
+--------+-------+------------------------------------------+---------------+---------------------------+--------------------------------------------------------------------------------+-------------+------------------------------------------------------------+----------+
| 153927 |  1580 | org.apache.hadoop.mapred.TextInputFormat |               |                           | hdfs://cluster1/video_test/daily/2018/03/01 |          -1 | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat |   153927 |
| 154297 |  1580 | org.apache.hadoop.mapred.TextInputFormat |               |                           | hdfs://cluster1/video_test/daily/2018/03/02 |          -1 | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat |   154297 |
| 154529 |  1580 | org.apache.hadoop.mapred.TextInputFormat |               |                           | hdfs://cluster1/video_test//daily/2017/12/20 |          -1 | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat |   154529 |
.....
| 180211 |  2880 | org.apache.hadoop.mapred.TextInputFormat |               |                           | hdfs://cluster1/video_test/daily/2018/04/26 |          -1 | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat |   180211 |

发现 分区正常的CD_ID 和不正常的CD_ID 是不一样的

修改问同样问题即可解决
UPDATE SDS SET CD_ID=‘2880’ where CD_ID=‘1580’;（操作不当可能损坏元数据）

2.当然也可以删除分区重新add partition (外部表) 风险低 分区多比较麻烦

如果分区路径和分区信息一致 也可尝试msck repair table tablename;(可能导致分区错乱)

3.最简单的办法， 使用CASCADE及联 强制

alter table tablename  add columns (cl1name string COMMENT 'cl1',cl2name string COMMENT 'cl2') CASCADE;
hive中NULL值问题
jiguanglong的博客
05-29 7600
问题描述 源端数据oracle数据库，通过cdm迁移工具将数据迁移到目标端hive。在oracle中的NULL值迁移到hive中后有的字段表现为NULL，有的字段表现为空串“”（即两个引号中间为空）。观察发现字符型的数据字段为空串，非字符型的字段为NULL。 整个链路涉及到了oracle、cdm、hive，分析问题的原因就从这三个产品着手。首先我们知道oracle中没有空串，当插入空串时写入的是NULL。很明显hive与oracle不同，hive中可以写入空串也可以写入NULL，空串和NULL在hive
hive使用动态分区插入数据详解
Mr.pan felix的专栏
07-11 3532
往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去执行，效率低。因为hive是批处理系统，所以hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。 1.创建一个单一字段分区表 hive> create table dpartition(id int ,name string ) partitioned by(ct string ); 2.往表里装载数据，并且动态建立分区...
hive-hive分区表添加新字段后老分区中读取为NULL的解决方法
liuwff的博客
06-28 1098
某次需求要给hive表添加两个字段并回刷数据，本以为很简单的事情三下五除二加了字段: alter table app.tableName add columns( browse_pv_sum BIGINT, click_pv_sum BIGINT); 修改脚本开刷完成！???? 结果一查数据，新字段显示为’NULL’！？ 本以为是脚本改错了导致数据没生成，结果各种修改一通操作，折腾1个多小时愣是没好，这也是脑子陷入了死磕到底的二愣模式，最后直接把两个字段写死成‘1’来进行插入，结果查询仍然是’NUL
Hive分区表新增字段为null的bug及解决方法
春水初生，春林初盛，春风十里，不如随笔
12-18 454
总结：对于分区表添加字段，向已存在分区中插入数据，结果新增字段的值全部为null。 注：是已存在分区，新的分区并不会产生该问题；无论是内部表还是外部表均有该问题。 创建分区表： create table test1(id int) partitioned by (pt_d varchar(11)) 插入数据 insert into table test1 partition(pt_d='20170101') values(1),(2); 查看数据 select * from test1;
HIVE NULL 值
在路上
11-20 1986
hive中NULL默认是以'\N'表示的 示例： 建表： hive> create table null_test_1(id INT, name STRING)      > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; OK Time taken: 0.275 seconds 插入数据： $ cat /home/work/data
hive分区表添加字段出现新增字段null的bug
anti
06-29 5602
hive分区表添加字段出现新增字段null的bug 对于hive分区表，我们使用alter语句新增字段后（如alter table table_name add columns(age int)），再重写之前已经存在的分区，会出现使用查询语句查出来的新增字段显示null值。 例如：表a ，分区dt，已有分区dt=’a’，由于需求新增了一个字段，然后重新写a 分区数据，写完后使用select发...
SparkSQL读取Hive数据，SQL处理之后，存入Hive的分区表
potter
07-24 6396
pom文件： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=&quot
Hive 静态分区和动态分区详解
程序员学习圈
08-26 608
数据导入 1.向表中装载数据（Load） 1.1 语法 hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)]; ① load data:表示加载数据 ②...
【hive-3.1.3】ORC 格式的表和 text 格式的表，当分区的字段数量和表的字段数量不一致，检索结果不相同
houzhizhen的专栏
11-09 1698
ORC 格式的表，和 text 格式的表，如果分区的字段数量和表的字段数量不一致，则 select 出的内容不相同。
hive 表创建及字段信息管理
MusicDancing的博客
11-25 1万+
1. 修改字段名或字段类型 hive表，能增加列，不可以删除列，但可以改列名; 对于分区表，要使用cascade才会对所有分区生效，否则，历史分区不会生效。 --修改字段名 alter table tablename change value1 value1_new string [cascade]; --修改字段类型 alter table tablename change column value1 value1 int [cascade]; --增加新字段 alter table tablen
hive新增字段以后，插入成功但是显示为null
小哥的博客
01-25 3562
hive新增两个字段，执行脚本没有报错，select出来以后值为空 然后单独执行代码发现，数据不为空 解决方法： 1.show create table table_name;找到该表元数据的存储路径 2.删除该分区路径下的deflate文件： hadoop fs -rm hdfs://ns1/user/hive/warehouse/xxx.db/table_name/dt=2019-0...
Hive分区表增加字段新增字段为NULL解决方案
qq_654603797
11-13 2814
背景： 数仓开发过程中，经常会有需求变更，添加字段的情况很难免，添加完了字段需要重新写数据，重新将这个字段的数据overwrite进去，但是会出现一个问题，就是加载的数据为NULL。新分区正常，无论是内部表还是外部表均有该问题。 原因：使用alter table语句更新表结构时，由于默认更新现有表结构，对原有分区无改动，导致原有分区改变数据时，新字段为NULL 测试过程： 创建测试表： CREATE TABLE DEFAULT. COMPANYLEVEL_TEST( IDSTRING, PAR.
hive表中字段显示为NULL时，HDFS文件中存储为\N
courage的专栏
09-11 1万+
今天遇到个问题：            利用java程序从云梯上读文件，解析出来的内容，会出现null,和\N。 1. 字符串null是因为，当字段=‘’时，存储为null。利用命令         alter table adl_cici_test_fdt set serdeproperties('serialization.null.format' = ''); 可是实现该功能
hive 分区字段为空
呼呼的博客
09-03 2689
hive 分区字段为空
在已有的hive表新增一列，但是已有分区数据显示为null
weixin_42903419的博客
12-28 951
在已有的hive表新增一列，然后对新增列之前的分区写入数据，hive查询该列全是null，但presto查询是有数据的一、造成hive查询为null的原因是？总结： 一、造成hive查询为null的原因是？ 原因是修改Hive分区表结构以后，元数据库中的SDS中该表对应的CD_ID会改变，但是该表分区下面对应的CD_ID还是原来表的CD_ID。SDS表主要保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。 参考https://blog.csdn.net/gxd520
hive中的NULL(hive空值处理)
热门推荐
lvhuiyin的博客
09-08 2万+
HIVE表中默认将NULL存为\N，可查看表的源文件（hadoop fs -cat或者hadoop fs -text），文件中存储大量\N， 这样造成浪费大量空间。而且用java、python直接进入路径操作源数据时，解析也要注意。另外，hive表的源文件中，默认列分隔符为\001(SOH)，行分隔符为\n（目前只支持\n，别的不能用，所以定义时不需要显示声明）。元素间分隔符\002，map中ke
Hive遇到的坑点
csdn_learner7的博客
03-07 2329
1.登录hive客户端，查询表信息出现以下错误 hive (hive_db)> select * from star; FAILED: SemanticException Unable to determine if hdfs://bigdata11:50090/user/hive/warehouse/hive_db.db/star is encrypted: java.lang.Il...
hive为分区表增加字段
最新发布
06-14
Hive是基于Hadoop的数据仓库工具，它支持在已有的分区表上添加新的字段。如果你想要在分区表中增加新的字段，你需要遵循一些步骤： 1. **停止写入**：确保在修改分区表结构之前，表上的所有写操作都已经完成，因为写操作可能会对数据产生影响。 2. **分析现有表**：使用`DESCRIBE formatted <your_table>`命令检查当前表的结构，包括分区列和现有字段。 3. **修改分区定义**：如果你只想在数据的一部分（例如，特定的分区）中添加新字段，你需要创建一个新的分区，然后将这部分数据移动到新分区。如果是所有分区都增加新字段，你可以直接在分区定义中增加。例如，如果你想在所有分区的`year`和`month`基础上添加一个`day`字段，分区定义可能变成`year=2022/month=1/day=<new_field>`。 4. **ALTER TABLE语句**：使用`ALTER TABLE <your_table> ADD PARTITION (year=2022, month=1, day=<new_field>)`或`ALTER TABLE <your_table> ADD COLUMNS <new_column_name> <data_type>`来添加新字段。这里 `<new_column_name>`是新字段名，`<data_type>`是对应的数据类型。 5. **验证和迁移数据**：再次运行`DESCRIBE formatted`来确认新字段已经添加，并检查数据是否正确地移动到了新分区或在所有分区中都有这个字段。 6. **重启服务**：可能需要重启Hive服务，让其加载新的表结构。 7. **错误处理**：如果遇到问题，确保检查日志，可能会有关于数据不一致或权限不足的提示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值