Hive压缩格式配置

本文介绍了如何配置Hive进行文件压缩,包括检查Hadoop支持的压缩格式,修改参数以支持压缩,以及在Hive中开启压缩和设置不同类型的压缩 codec,如bzip2和gzip。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

转载:
https://blog.youkuaiyun.com/qq_32641659/article/details/89337897

1、文件压缩配置实现

首先你的Hadoop是需要编译安装的,参考博客:Hadoop源码编译
https://blog.youkuaiyun.com/greenplum_xiaofan/article/details/95466703
检查Hadoop支持的压缩格式:

[hadoop@vm01 hadoop-2.6.0-cdh5.7.0]$ pwd
/home/hadoop/source/hadoop-2.6.0-cdh5.7.0/hadoop-dist/target/hadoop-2.6.0-cdh5.7.0

[hadoop@vm01 hadoop-2.6.0-cdh5.7.0]$ ./bin/hadoop checknative
19/07/10 23:35:35 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
19/07/10 23:35:35 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /home/hadoop/source/hadoop-2.6.0-cdh5.7.0/hadoop-dist/target/hadoop-2.6.0-cdh5.7.0/lib/native/libhadoop.so.1.0.0
zlib:    true /lib64/libz.so.1
snappy:  true /lib64/libsnappy.so.1
lz4:     true revision:99
bzip2:   true /lib64/libbz2.so.1
openssl: true /lib64/libcrypto.so

hadoop checknative 虽然没没显示gzip、LZO压缩格式是否支持,是因为检查的是native,只要本机有gzip和LZO相关软件即可

2、修改core-site.xml参数支持压缩

<property>
    <name
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值