HIVE HDFS对NULL值处理

村口蹲点的阿三

已于 2024-10-16 09:49:31 修改

阅读量1.9k

点赞数 1

分类专栏： hive-sql语法文章标签： hive hadoop big data sql hdfs

于 2021-10-01 10:23:20 首次发布

本文链接：https://blog.youkuaiyun.com/liuya19921123/article/details/120575727

版权

hive-sql语法专栏收录该内容

16 篇文章

订阅专栏

当Hive写入NULL值到HDFS时，数据会显示为'N'。解决此问题的方法是修改表的serialization.null.format属性。可以通过创建表时设定或建表后使用ALTER语句来改变这一特性。例如，可以将NULL值存储为空字符串。这将影响HDFS文件中的数据表示，可能需要重新插入数据以应用更改。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive 写入null后在hdfs 中显示\N 存储，如果直接读取hdfs则会直接读到\N数值

如何解决这个问题，需要对表属性中的null值存储进行修改，具体的表serialization.null.format可以在desc formatted 查询具体表属性

Storage Desc Params:		
	serialization.format	1                   
	serialization.null.format	N

场景构建：

临时表创建

CREATE TABLE `test_null_case_data`(
  `id` int, 
  `id_name` string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  '/****/test_null_case_data'

写入测试数据：

insert overwrite table test_null_case_data
select 2 as id,'jie' as id_name
union all 
select 1 as id,null as id_name

查询数据结果

select * from test_null_case_data

id id_name
2   jie
1   

dfs -cat /****/test_null_case_data/000000_0
2<0x01>jie
1<0x01>\N

注：可以看到在结果表里面查询是正常了显示null值，但是在hdfs的文件中显示的为\N的结果。如果数据走文件处理的话，访问程序需要处理\N，或者调整表null值存储处理。

解决方案：

创建表时可以设变null存储类型，或者建表后修改null特性

创建表时可以指定：

ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
with serdeproperties('serialization.null.format' = '')
或
ROW FORMAT DELIMITED NULL DEFINED AS ''

完整语句
CREATE TABLE `test_null_case_data`(
  `id` int, 
  `id_name` string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
with serdeproperties('serialization.null.format' = '')
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  '/****/test_null_case_data'

创建表后alter指定：(修改特性后表hdfs数据内容不会变，需要重新插入数据)

alter table test_null_case_data SET SERDEPROPERTIES('serialization.null.format' = '')

除了以null值修改成空字符串还有其他形式：\N,'',NULL

每个null值的表示对应的修改和查询都有所差异：

设置 SET SERDEPROPERTIES('serialization.null.format' = '');
查询显示为空字符串'',文件查询显示：''

设置 SET SERDEPROPERTIES('serialization.null.format' = 'NULL');
查询显示为空字符串'',文件查询显示：NULL

设置 SET SERDEPROPERTIES('serialization.null.format' = '\N'); 
查询显示为空字符串'',文件查询显示：\N