MapReduce代码统计文本单词

该博客介绍了如何使用MapReduce进行文本单词统计。在Map阶段,每行数据被拆分,每个单词写一个1。在Reduce阶段,将单词对应的1求和,得到最终每个单词的出现次数。示例中,单词如'hello'出现了5次,'jerry'出现了1次等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Map阶段

.每次读一行数据,

2.拆分每行数据,

3.每个单词碰到一次写个1

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;

public class WordCountMap extends Mapper <LongWritable,Text,Text, IntWritable> {
    @Override
    protected void map(LongWritable key,Text value,Context context)throws IOException,InterruptedException{
        //读取每行文本
        String line = value.toString();
        //splite拆分每行
        String[] words = line.split("");
        //取出每个单词
        for (String word:words){
            //将单词转为text类型
            Text wordText = new Text(word);
            //将1转换成IntWritable
            IntWritable outValue=new IntWritable(1);
            //写出单词,跟对应1
            context.write(wordText,outValue);
        }
    }
}

reduce阶段

1.把单词对应的那些1

2遍历,

3求和

<hello, {1,1,1,1,1}>

<jerry, {1}>

<kitty, {1}>

<tom, {1,1}>

<world, {1}>

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.io.Text;
import java.io.IOException;

public class WordCountReduce extends Reducer<Text, IntWritable,Text,IntWritable> {
    protected void redue(Text key,Iterable<IntWritable> values,Context context)throws IOException,InterruptedException{
        int sum = 0;
        for (IntWritable i:values){
            sum = i.get();
        }
        context.write(key,new IntWritable(sum));
    }
}

使用对象

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.Job;

public class WordCount {
    public static void main(String[] args) throws Exception{
        //定义配置对象
        Configuration conf=new Configuration();
        //定义一个工作任务对象
        Job job=Job.getInstance(conf);

        //获取map阶段的一个对象
        job.setMapperClass(WordCountMap.class);
        //指定map阶段的一个输出key
        job.setMapOutputKeyClass(Text.class);
        //指定map阶段输出的values类型
        job.setMapOutputValueClass(IntWritable.class);
        //map阶段的输入文件
        FileInputFormat.setInputPaths(job,new Path("C:/Users/lcj/Desktop/123.txt"));

        //指定Reduce的类
        job.setReducerClass(WordCountReduce.class);
        //指定reduce阶段的一个输出key
        job.setOutputKeyClass(Text.class);
        //指定reduce阶段输出的values类型
        job.setMapOutputValueClass(IntWritable.class);
        //指定reduce阶段输出文件
        FileOutputFormat.setOutputPath(job,new Path("C:/Users/lcj/Desktop/234"));

        //submit
        job.waitForCompletion(true);
    }
}

处理后数据

hello        5 

jerry         1

kitty         1

tom          2

world       1

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值