Hadoop 压缩文件命令

javastart

于 2022-05-07 17:42:44 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： hadoop hdfs mapreduce

本文链接：https://blog.youkuaiyun.com/javastart/article/details/124635920

大数据专栏收录该内容

236 篇文章

订阅专栏

这篇博客详细介绍了如何使用Hadoop的hadoop-streaming工具对har文件进行BZip2压缩，包括设置参数如reduce任务数、压缩输出选项等，适合Hadoop初学者或开发者参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop 压缩文件命令


hadoop jar /usr/bin/hadoop/software/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.7.2.4.jar \
        -Dmapred.reduce.tasks=5 \
        -Dmapred.output.compress=true \
        -Dmapred.compress.map.output=true \
        -Dmapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec \
        -input /home/wechat_log_2020_02_18.har \
        -output /home/wechat_log_2020_02_18.har.bz2 \
        -mapper /bin/cat \
        -reducer /bin/cat \
        -inputformat org.apache.hadoop.mapred.TextInputFormat \
        -outputformat org.apache.hadoop.mapred.TextOutputFormat