HIVE的基本使用05(压缩参数的指定)

RZH_long

于 2021-12-20 21:41:08 发布

阅读量421

点赞数

分类专栏： hadoop 文章标签： hive

本文链接：https://blog.youkuaiyun.com/RZH_long/article/details/122050963

版权

本文介绍了如何在Hive中启用压缩，包括在mapred-site.xml中配置全局设置，以及如何启动Map端和Reduce端的压缩。详细展示了开启Hive中间传输、mapreduce.map/output压缩，以及设置SnappyCodec压缩方式的步骤，并提供了测试输出是否为压缩文件的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

压缩格式jar包目录一览表

压缩格式	对应的编码/解码器
DEFLATE	org.apache.hadoop.io.compress.DefaultCodec
gzip	org.apache.hadoop.io.compress.GzipCodec
bzip2	org.apache.hadoop.io.compress.BZip2Codec
LZO	com.hadoop.compression.lzo.LzopCodec
LZ4	org.apache.hadoop.io.compress.Lz4Codec
Snappy	org.apache.hadoop.io.compress.SnappyCodec