Hive数据压缩

最新推荐文章于 2025-08-13 22:04:55 发布

转载最新推荐文章于 2025-08-13 22:04:55 发布 · 130 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/chensm/p/9936668.html

文章标签：

#大数据

本文详细介绍了如何通过修改Hive的配置参数来实现Map端和Reduce端的数据输出压缩，使用SnappyCodec压缩算法提高数据处理效率。通过设置特定的Hive参数，可以显著提升Hive SQL任务的执行速度和降低存储成本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

****几个配置方式：
>>>MR程序
>>>mapred-site.xml
>>>hive命令行

1.Map端数据输出压缩
set hive.exec.compress.intermediate = true;
set mapreduce.map.output.compress = true;
set mapreduce.map.output.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

2.Reduce端数据输出压缩

set hive.exec.compress.output = true;
set mapreduce.output.fileoutputformat.compress = true;
set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

然后在hive 执行sql语句即可，