压缩

最新推荐文章于 2024-08-31 15:51:34 发布

weixin_39182877

最新推荐文章于 2024-08-31 15:51:34 发布

阅读量185

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_39182877/article/details/79438161

本文详细介绍了Hadoop中关于文件压缩的相关配置，包括core-site.xml中的压缩编解码器设置及mapred-site.xml中输出文件的压缩开关和指定使用的压缩算法。通过具体的配置示例，展示了如何使用BZip2和Snappy等不同压缩方式创建Hive表。

core-site.xml codecs
<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec
</value>
</property>

mapred-site.xml switch+codec
<property>
<name>mapreduce.output.fileoutputformat.compress</name>
<value>true</value>
</property>

<property>
<name>mapreduce.output.fileoutputformat.compress.codec</name>
<value>org.apache.hadoop.io.compress.BZip2Codec</value>
</property>

mapreduce.map.output.fileoutputformat.compress

SET hive.exec.compress.output=true;
SET mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.BZip2Codec;

create table page_views_bzip2
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
as select * from page_views;

create table page_views_snappy
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
as select * from page_views;

【来自@若泽大数据】