Hive中使用LZO压缩的方式

杨鑫newlfe

于 2018-10-13 00:22:10 发布

阅读量5k

点赞数 2

分类专栏：大数据挖掘与大数据应用案例文章标签： Hive Hadoop LZO压缩

本文链接：https://blog.youkuaiyun.com/u012965373/article/details/83034738

版权

大数据挖掘与大数据应用案例专栏收录该内容

536 篇文章 ¥9.90 ¥99.00

订阅专栏

本文介绍了在Hive中使用LZO压缩的方法，包括创建表时指定LZO格式、已创建表的格式修改、插入数据时的压缩设置以及解决查询问题。当遇到查询LZO压缩表时数据无法显示的问题，可以通过指定压缩方法来正确查询。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.创建表的时候指定为lzo格式

CREATE EXTERNAL TABLE foo (
columnA string,
columnB string
) PARTITIONED BY (date string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY "\t"
STORED AS
INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"
OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat"
LOCATION '/path/xxxx/foo';

2.对于已经创建好的表，可以使用alter语句，修改为lzo存储格式。
ALTER TABLE foo
SET FILEFORMAT
INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"
OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat";

3.当使用insert语句往lzo表里插入数据时，需要加入下面两个参数：

SET hive.exec.compress.outp

了解本专栏