Hive 1.1.0 某些字段的查询结果为NULL

最新推荐文章于 2023-03-14 18:30:25 发布
原创 最新推荐文章于 2023-03-14 18:30:25 发布 · 325 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hive 1.1.0 某些字段的查询结果

本文探讨了Hive中表元数据与分区元数据不一致的问题，并对比了不同Hive版本下查询结果的差异。解释了Hive0.10与Hive1.1.0在处理此类问题上的区别。
 现象查询fct_traffic_navpage_path_detl的 2015-01-19 分区显示结果如下：

    Hive 1.1.0 返回结果如下，可见最后一个字段为NULL

87FQEZT1UEDXJHJQPFFX7G7ET8S2DVPM 2357378283356 91501191044440048 7326356 NULL

87FQEZT1UEDXJHJQPFFX7G7ET8S2DVPM 2357378283356 121501191035580028 7326356 NULL
UBDTK8D9XUZ9GRZU8NZNXDEG73D4PCZG 2362223711289 161501191549050061 14837289 NULL
Y49EY895ACABHS95DRQEE8DVFEB8JSE1 2360853052224 111501191426280023 115883224 NULL

     Hive 0.10 返回结果”正确“如下：

87FQEZT1UEDXJHJQPFFX7G7ET8S2DVPM 2357378283356 91501191044440048 7326356 2015-01-19 10:44:44
87FQEZT1UEDXJHJQPFFX7G7ET8S2DVPM 2357378283356 121501191035580028 7326356 2015-01-19 10:35:58
UBDTK8D9XUZ9GRZU8NZNXDEG73D4PCZG 2362223711289 161501191549050061 14837289 2015-01-19 15:49:05
Y49EY895ACABHS95DRQEE8DVFEB8JSE1 2360853052224 111501191426280023 115883224 2015-01-19 14:26:28


后来发现，这表的meta和 2015-01-19 这个分区的meta不一样。


hive> desc  dw.fct_traffic_navpage_path_detl;

OK

date_id                 string                                      

chanl_id                bigint                                      

sessn_id                string                                      

。。                                      

detl_event_id           string                                      

nav_refer_intrn_reslt_sum       string                                      

nav_intrn_reslt_sum     string                                      

nav_refer_intrn_kw      string                                      

nav_intrn_kw            string                                      

detl_track_time         string                                      

cart_track_time         string                                      

ds                      string                                      

                 

# Partition Information          

# col_name              data_type               comment             

                 

ds                      string 


hive> desc  dw.fct_traffic_navpage_path_detl partition(ds='2015-01-09');

OK

date_id                 string                                      

chanl_id                bigint                                      

sessn_id                string                                      

。。

                                     

detl_event_id           string                                      

ds                      string                                      

                 

# Partition Information          

# col_name              data_type               comment             

                 

ds                      string 


如上可见表的meta比partition(ds='2015-01-09')的meta多了如下几个字段，

nav_refer_intrn_reslt_sum       string                                      

nav_intrn_reslt_sum     string                                      

nav_refer_intrn_kw      string                                      

nav_intrn_kw            string                                      

detl_track_time         string                                      

cart_track_time         string


后来查了一下，hive是允许表meta和分区meta不一样的，见

http://mail-archives.apache.org/mod_mbox/hive-user/201110.mbox/%3CCA+v58Ocy=uoHsLNQGrYYpRhawFse-p-6U4sjmzNL6VERYrSKTg@mail.gmail.com%3E

还有加改字段的时候可以指定分区：

ALTER TABLE table_name [PARTITION partition_spec]

  ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)

  [CASCADE|RESTRICT]


那为啥hive 0.10显示”正确“，hive 1.1.0显示错误呢？

    后来查看jira发现，hive0.10 Sedre的时候是以Table的meta为准，而hive 0.11以后得版本以parition的meta为准，可见

https://issues.apache.org/jira/browse/HIVE-3833  可以说hive 0.11这么做是一种改进。虽然hive 0.10显示“正确 “，其实这是误打误撞读取了tabel的meta所以那些字段显示了出来，其实结果是错误的，是hive0.10的缺陷。


01ADH
关注
Hive分区表新增字段值为NULL
Sin_Geek成长の迹
03-08 1031
背景 对于HIVE分区表通过add column添加字段，向已存在分区中插入数据，结果新增字段的值全部为null。 已存在分区会产生该问题，新分区不会产生该问题。 原因 实际上数据是插入成功的。HDFS上的数据更新了，但是我们查询的时候仍然查询的是旧的元数据信息（即Mysql中的信息） 官方解释如下： Change Column Name/Type/Position/Comment ALTER T...
Hive1.1.0升级至2.3.6 踩坑记录
Deegue
12-20 4299
1、union all 左右字段类型不匹配 Hive尝试跨Hive类型组执行隐式转换。隐式转换支持类型如下表： 例： hive> select 1 as c2, 2 as c2 > union all > select 1.0 as c1, "2" as c1; FAILED: SemanticException Schema of both sides ...
Hive 1.1.0 某些字段的查询结果为NULL
weixin_34183910的博客
04-16 268
现象查询fct_traffic_navpage_path_detl的2015-01-19 分区显示结果如下：Hive 1.1.0 返回结果如下，可见最后一个字段为NULL87FQEZT1UEDXJHJQPFFX7G7ET8S2DVPM 2357378283356 91501191044440048 7326356 NULL87FQEZT1UEDXJHJQPFF...
HiveSQL字段内容为null的注意点
边看边学
12-01 1068
注意：字段内容为null和字段长度为0是两回事。 如：length(name) = 0 和 name is null 是两种完全不同的情况。 length(name) = 10 和 length(name) != 10 都不会包含 name is null 的情况。
Hive 空值和NULL字符串 踩坑
流风雨情的博客
06-04 2801
在hive测试环境中发现，通过csv上传到hive中的空值字段会被转化为NULL字符串，在查询的时候where xxx is null 查不到数据 通过 where xxx = ‘NULL’ 能查到数据 复现问题： CREATE TABLE `call_v2`( `id` string, `call_uuid` string, `transa.
116.Hive查询NULL异常分析与解决
大勇若怯任卷舒
08-16 1506
##116.1 问题简述。
hive中的空值处理
lv_hulk的博客
12-29 1万+
hive中的空值处理 用Sqoop往MySQL同步数据时，由于hdfs存储的数据中有null值或’’，导致同步数据失败。主要是hive sql中的空值造成的，所以今天就说一下怎么解决这个问题。 一.hive中空值分两种 （1）NULL hive中null实际在HDFS中默认存储为’\N’，通过查询显示的是’NULL’。 这时如果查询为空值的字段可通过语句：aaa is null 或者 aaa =’...
hive表新增字段或者修改字段
04-20
因此，当仅修改表的元数据而未更新分区的元数据时，查询分区数据时会出现不一致，导致数据显示为 `null`。 解决这个问题有几种方法： a. 如果需要重新运行数据，可以删除受影响的分区元数据，然后重新处理这些分区...
Hive 分区表新增字段 cascade
qq_45124566的博客
03-14 3975
Hive 分区表新增字段 cascade
HIVE 增加修改删除字段
半吊子Kyle的博客
03-19 2万+
HIVE 增加修改删除字段非分区表增加字段修改字段(修改字段名称、类型、注释、顺序)删除字段分区表新增字段 非分区表 增加字段 增加字段可以使我们在所有字段之后和分区字段之间增加一个字段 使用格式 ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...) [CASCADE|RESTRICT] -- (Note: Hive 1.
hive 空值、NULL判断
jyl1798的专栏
12-11 6万+
hive空值、NULL判断以及存储
hive 新增字段查询是 null值
zhu_19930414的博客
11-27 1566
不需要每个分区都需加上，只需要如下： 1、alter table  user_monthly_detail_i_m  add columns (test string) cascade cascade关键字即可 2、insert owerwrite table user_monthly_detail_i_m   add partition (dt='20181127') select  * ...
hive： 空值、NULL判断、空值的处理
热门推荐
不花的花和尚的博客
09-27 8万+
hive中空值判断基本分两种 （1）NULL 与 \N hive在底层数据中如何保存和标识NULL，是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的 比如： 1.设置 alter table name SET SERDEPROPERTIES('serialization.n...
解决hive表新增的字段查询为空null问题
星空的风fly
05-14 4318
一、问题点 有一个hive外部表，分区字段是tp和month，新增了几个字段fee_org_id，applied_date_time，pop_coop_mode_type_cd，fee_company后，insert overwrite重跑分区数据， SELECT * FROM app.app_yhzz_pop_bill_indicator_result WHERE tp = 'yt' AND month = '2021-04' 用hive引擎查询如下，新增的几个字段是null 而用prest
hive解决加载数据后查询数据显示为NULL的问题
weixin_42759988的博客
06-12 3924
数据准备： de
SQL 查询某字段不为空
Beau_Ray的博客！
12-16 1万+
SQL运算符 //不为空SELECT * FROM `table_name` WHERE 'col'<>''//为空SELECT * FROM `table_name` WHERE 'col'='' SQL命令 //不为空SELECT * FROM `table_name` WHERE 'colIS NOT NULL//为空SELECT * FROM `table_name...
Hive中NULL的含义
日进一步
06-20 5803
在Hive中，NULL表示的是异常，与null不同，文件中的null在Hive中被认为字符串，如果对应的字段类型是字符类的，如string，则将其视为一个普通的字符串，而对于数据类的，则若数据本身是null，则由于无法转换为数值，则会显示NULL。此外，Hive无法实现对NULL数据的过滤。Hive为读时模式，其在读取时将存储的实际值转化为schema中定义的数据类型，当转换失败时对应值显示为NU...
hive字段类型为bigint但在where条件却用了字符串a！=''导致执行计划和结果有问题
weixin_42412645的博客
07-22 1787
今天写了一段SQL，代码逻辑没有问题，但是结果老是跟实际不符合。于是用explain查了一下执行计划也没有什么问题。于是只能一步一步临时表的查问题。最后定位到where a！=’’。 下面是hive支持的隐式类型转换图表 hive测试结果： ...
hive 新增字段
最新发布
07-03
<think>我们正在讨论Hive表中添加新字段的问题。根据用户的问题“我想在Hive表中添加新字段请问Hive addnew columnto table”，我们需要提供在Hive中添加新列的方法。根据引用[1]和[2]，我们可以使用ALTERTABLE ...ADD COLUMNS语句来添加新列。具体步骤：1.添加单个列：可以使用`ALTER TABLEtable_nameADD COLUMNS(new_col INT);`，其中new_col是列名，INT是数据类型。2.添加多个列：可以一次添加多个列，例如：`ALTERTABLE table_name ADDCOLUMNS (c1INT,c2STRING);`3.添加列并添加注释：`ALTER TABLEtable_nameADD COLUMNS(new_col INTCOMMENT 'a comment');`注意：-默认情况下，新列会被添加为最后一列。-如果表是分区表，则需要在添加列之前指定分区（但根据引用[4]，ALTERTABLE ADDCOLUMNS也可以用于分区表，但语法中不需要指定分区，因为它是表级别的操作，会应用到所有分区）。另外，引用[2]提到了REPLACECOLUMNS，但这是用于替换所有列（即删除现有列并添加新列集），通常用于删除列或完全改变表结构。而用户只是添加新列，所以应该使用ADDCOLUMNS。引用[3]提醒我们，对于ORC类型的表，使用REPLACECOLUMNS删除列可能会抛出异常，但我们的操作是ADDCOLUMNS，所以不受此影响。引用[4]详细说明了CHANGE COLUMN，它用于更改现有列（如重命名、修改类型、位置等），而不是添加新列。因此，添加新列应使用ADDCOLUMNS。因此，我们给出以下示例：假设我们有一个表`employee`，现在要添加一个`age`列，数据类型为INT，并添加注释“员工年龄”： ```sqlALTER TABLEemployee ADDCOLUMNS (age INTCOMMENT '员工年龄'); ```如果要添加多个列，比如`age`和`address`： ```sqlALTER TABLEemployee ADDCOLUMNS (age INTCOMMENT'员工年龄',address STRING COMMENT'家庭住址'); ```注意事项：1.添加列操作不会影响现有数据。当查询时，新列的值对于旧数据会显示为NULL（除非表使用特殊的SerDe，但通常如此）。2.如果表是分区表，添加列后，新列也会出现在所有已有分区中。3.在Hive中，不能指定新列的位置（除了成为最后一列），除非使用CHANGE COLUMN语句来调整列的顺序（引用[4]提到CHANGECOLUMN可以改变列的位置，但ADD COLUMNS不能）。所以，如果需要在特定位置添加列，可以先添加列，然后用CHANGECOLUMN移动列的位置，但这需要多个步骤。例如，如果我们想在`name`列后面添加`age`列，可以先添加列，然后将列移动到指定位置： ```sql--先添加列（成为最后一列） ALTERTABLE employeeADD COLUMNS(ageINT COMMENT'员工年龄');--然后将age列移动到name列后面ALTER TABLEemployee CHANGECOLUMNage ageINTCOMMENT'员工年龄'AFTER name; ```但是，请注意，移动列位置可能会比较繁琐，特别是对于有很多列的表。另外，引用[4]提到，ALTER TABLECHANGE COLUMN命令可以使用CASCADE或RESTRICT（默认RESTRICT）。在添加列时，我们通常使用默认的RESTRICT，因为它只修改表元数据。而CASCADE会级联到所有分区元数据（在Hive1.1.0及以上版本可用）。对于ADD COLUMNS操作，它本身就是表级别的操作，会自动应用到所有分区，所以不需要指定CASCADE。因此，我们推荐使用ADDCOLUMNS来添加新列。最后，生成相关问题。</think>### Hive 表中添加新字段的方法 在 Hive 中向现有表添加新字段，主要使用 `ALTER TABLE ... ADD COLUMNS` 语法。以下是详细操作指南： #### 1. **添加单个字段** ```sql -- 基本语法（默认添加到最后一列） ALTER TABLE table_name ADD COLUMNS (new_column_name data_type); -- 示例：添加 INT 类型的 age 字段 ALTER TABLE employee ADD COLUMNS (age INT); ``` #### 2. **添加多个字段** ```sql -- 同时添加多个字段 ALTER TABLE table_name ADD COLUMNS ( column1 data_type, column2 data_type ); -- 示例：添加 salary (DOUBLE) 和 department (STRING) 字段 ALTER TABLE employee ADD COLUMNS ( salary DOUBLE, department STRING ); ``` #### 3. **添加带注释的字段** ```sql -- 添加字段并设置注释 ALTER TABLE table_name ADD COLUMNS ( new_column_name data_type COMMENT '字段描述' ); -- 示例：添加带注释的 join_date 字段 ALTER TABLE employee ADD COLUMNS (join_date DATE COMMENT '入职日期'); ``` #### 4. **添加字段到指定位置** > *需配合 `CHANGE COLUMN` 实现（Hive 0.14+）* ```sql -- 先添加字段 ALTER TABLE employee ADD COLUMNS (phone STRING); -- 再移动字段位置（将 phone 移到 email 后） ALTER TABLE employee CHANGE COLUMN phone phone STRING AFTER email; ``` --- ### ⚠️ 重要注意事项 1. **元数据更新** 添加列操作 **仅修改元数据**，不影响现有数据文件。查询时新字段值为 `NULL`[^4]。 2. **分区表处理** 对分区表执行 `ADD COLUMNS` 后： ```sql -- 新字段会自动添加到所有分区 ALTER TABLE partitioned_table ADD COLUMNS (new_col INT); ``` 3. **SerDe 兼容性** - 对于 ORC/Parquet 等格式表，避免使用 `REPLACE COLUMNS` 删除字段，可能引发 SerDe 异常[^3]。 - 添加字段时优先使用 `ADD COLUMNS` 而非 `REPLACE COLUMNS`[^2]。 4. **保留关键字处理** 若字段名是保留关键字（如 `date`），需使用反引号： ```sql ALTER TABLE logs ADD COLUMNS (`date` STRING); ``` --- ### 示例完整流程 ```sql -- 创建示例表 CREATE TABLE employee ( id INT, name STRING, email STRING ); -- 添加多个字段（带注释） ALTER TABLE employee ADD COLUMNS ( age INT COMMENT '员工年龄', salary DOUBLE COMMENT '月薪' ); -- 验证表结构 DESCRIBE employee; ``` 输出结果： ``` id int name string email string age int 员工年龄 salary double 月薪 ``` --- ### 常见问题解决 **Q: 添加字段后查询显示 `NULL`？** A: 这是预期行为，Hive 不会自动填充历史数据。需通过 `INSERT` 或 `UPDATE`（需启用 ACID）填充新字段值[^4]。 **Q: 分区表添加字段后新分区不显示？** A: 确保使用 Hive 0.14+ 版本，新字段会自动同步到所有分区元数据[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值