hive优化-压缩处理

最新推荐文章于 2023-05-30 10:16:36 发布

缘定三石

最新推荐文章于 2023-05-30 10:16:36 发布

阅读量595

点赞数

CC 4.0 BY-SA版权

分类专栏： Hive实战文章标签： Hive 压缩

本文链接：https://blog.youkuaiyun.com/tian_qing_lei/article/details/77484735

Hive实战专栏收录该内容

26 篇文章

订阅专栏

本文介绍了如何优化Hive的压缩处理，包括设置MR中间结果和最终输出的压缩，以及调整不同类型的压缩编解码器，如Snappy和Gzip。通过这些配置，可以提高数据处理效率并节省存储空间。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[压缩]
1.设置mr中间的压缩处理
//设置中间结果是否可压缩,多次job的中间结果是否压缩处理。
SET hive.exec.compress.intermediate=true
//设置结果压缩编解码器
SET hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec

//是否控制最终job的输出压缩
SET hive.exec.compress.output=true
//设置输出压缩编解码器
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec

Compression_Codec Extension Splittable
Deflate org.apache.hadoop.io.compress.DefaultCodec .deflate N
GZip org.apache.hadoop.io.compress.GzipCodec .gz N
Bzip2 org.apache.hadoop.io.compress.BZip2Codec .gz Y
LZO com.hadoop.compression.lzo.LzopCodec .lzo N(preprocess,lzoindex)
LZ4 org.apache.hadoop.io.compress.Lz4Codec .lz4 N
Snappy org.apache.hadoop.io.compress.SnappyCodec .snappy N

2.hadoop配置压缩
//mapred-site.xml,控制job的output是否压缩
mapreduce.output.fileoutputformat.compress=false

//map输出发送前是否压缩。
mapreduce.map.output.compress=false