压缩hive输出

最新推荐文章于 2023-09-05 15:48:33 发布

jasonliaoxiaoge

最新推荐文章于 2023-09-05 15:48:33 发布

阅读量1k

点赞数

分类专栏： hive

本文链接：https://blog.youkuaiyun.com/jasonliaoxiaoge/article/details/8673019

版权

hive 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了如何在Hive中启用输出压缩，通过设置`hive.exec.compress.output=true`和`mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec`，可以将查询结果以Gzip格式压缩保存。示例中展示了查询结果被写入到/bip/test目录下，多个压缩文件如000000_0.gz、000001_0.gz等，每个文件大小不等，表明压缩已成功执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive> set hive.exec.compress.output=true; 启用压缩

hive> set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 指定格式

查询

INSERT OVERWRITE DIRECTORY '/bip/test' SELECT * FROM ik_ADError;

结果

[pplive@namenode ~]$ hadoop fs -ls /bip/test
-rw-r--r--   3 pplive supergroup     561956 2012-07-27 17:28 /bip/test/000000_0.gz
-rw-r--r--   3 pplive supergroup     511540 2012-07-27 17:28 /bip/test/000001_0.gz
-rw-r--r--   3 pplive supergroup     462516 2012-07-27 17:28 /bip/test/000002_0.gz
-rw-r--r--   3 pplive supergroup     395046 2012-07-27 17:28 /bip/test/000003_0.gz
-rw-r--r--   3 pplive supergroup     248314 2012-07-27 17:28 /bip/test/000004_0.gz
-rw-r--r--   3 pplive supergroup     142572 2012-07-27 17:28 /bip/test/000005_0.gz
-rw-r--r--   3 pplive supergroup      71440 2012-07-27 17:28 /bip/test/000006_0.gz
-rw-r--r--   3 pplive supergroup        801 2012-07-27 17:28 /bip/test/000007_0.gz
-rw-r--r--   3 pplive supergroup        506 2012-07-27 17:28 /bip/test/000008_0.gz
-rw-r--r--   3 pplive supergroup        461 2012-07-27 17:28 /bip/test/000009_0.gz