MR的单词计数小程序

RZH_long

于 2021-11-16 20:28:49 发布

阅读量1.3k

点赞数

分类专栏： hadoop 文章标签： mapreduce

本文链接：https://blog.youkuaiyun.com/RZH_long/article/details/121364527

版权

该博客介绍了如何使用MapReduce编程模型来实现一个简单的单词计数程序。Mapper阶段对输入文本进行切分，将单词作为键值对输出，而Reducer阶段则负责聚合这些键值对，统计每个单词出现的次数，从而完成单词计数的任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

----------------------------------主程序入口----------------------------------
package com.demo01.wordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class JobMain extends Configured implements Tool {
    /**
     *主程序入口
     * @param args
     */
    public static void main(String[] args) throws Exception {

        //这里执行完成，返回一个程序退出状态码  0成功
        //这里设置configguration相当于给父类赋值了
        int run = ToolRunner.run(new Configuration(),new JobMain(),args);

        System.