修改hive默认格式

最新推荐文章于 2023-11-18 22:27:23 发布

原创最新推荐文章于 2023-11-18 22:27:23 发布 · 3.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hive

hive 专栏收录该内容

8 篇文章

订阅专栏

本文介绍了修改Hive默认格式的方法及测试是否生效的思路。通过设置'hive.default.fileformat.managed=rcfile'和'hive.default.fileformat=rcfile'两个参数，可将Hive默认格式变更为rcfile，还通过建表查看格式来测试修改是否生效。

文章目录

前言
一、修改hive默认格式方法
二、测试是否生效
总结

前言

设置hive默认格式，作用，统一数据格式。

一、修改hive默认格式方法

设置默认格式为rcfile

hive (default)> set hive.default.fileformat.managed=rcfile;
hive (default)> set hive.default.fileformat=rcfile;

二、测试是否生效

思路：修改格式前后建表，检查表的格式

建表，查看目前格式

hive (default)> create table t1(id int);
OK
Time taken: 1.255 seconds

2.查看表格式：

hive (default)> show create table t1;
OK
createtab_stmt
CREATE TABLE `t1`(
  `id` int)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://ns/user/hive/warehouse/t1'
TBLPROPERTIES (
  'transient_lastDdlTime'='1649216404')
Time taken: 0.128 seconds, Fetched: 12 row(s)

3.设置默认格式：

hive (default)> set hive.default.fileformat.managed=rcfile;
hive (default)> set hive.default.fileformat=rcfile;

4.建t2表测试，是否生效：

hive (default)> create table t2(id int);
OK
Time taken: 0.161 seconds
hive (default)> show create table t2;
OK

查看t2表格式：

createtab_stmt
CREATE TABLE `t2`(
  `id` int)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.RCFileInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.RCFileOutputFormat'
LOCATION
  'hdfs://ns/user/hive/warehouse/t2'
TBLPROPERTIES (
  'transient_lastDdlTime'='1649216435')
Time taken: 0.024 seconds, Fetched: 12 row(s)