Hadoop 压缩文件命令

最新推荐文章于 2025-10-15 10:21:35 发布

原创最新推荐文章于 2025-10-15 10:21:35 发布 · 2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hdfs #mapreduce

大数据专栏收录该内容

236 篇文章

订阅专栏

这篇博客详细介绍了如何使用Hadoop的hadoop-streaming工具对har文件进行BZip2压缩，包括设置参数如reduce任务数、压缩输出选项等，适合Hadoop初学者或开发者参考。

Hadoop 压缩文件命令


hadoop jar /usr/bin/hadoop/software/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.7.2.4.jar \
        -Dmapred.reduce.tasks=5 \
        -Dmapred.output.compress=true \
        -Dmapred.compress.map.output=true \
        -Dmapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec \
        -input /home/wechat_log_2020_02_18.har \
        -output /home/wechat_log_2020_02_18.har.bz2 \
        -mapper /bin/cat \
        -reducer /bin/cat \
        -inputformat org.apache.hadoop.mapred.TextInputFormat \
        -outputformat org.apache.hadoop.mapred.TextOutputFormat