WordCount词频统计

斑马在忙

于 2022-01-14 11:00:46 发布

阅读量3.9k

点赞数 1

分类专栏：杂七杂八文章标签： mapreduce hadoop apache

本文链接：https://blog.youkuaiyun.com/qq_45065956/article/details/122489225

版权

本文详细解析了WordCount词频统计的乱序版本，主要分为WordCountMain、WordCountMapper和WordCountReducer三个部分。WordCountMain负责整体流程控制，WordCountMapper完成单词切分并转换键值对，而WordcountReducer则执行键值聚合，最终输出词频结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

@WordCount词频统计详解（乱序版）

WordCount主要分三部分：
WordCountMain、WordCountMapper、WordcountReducer

WordCountMain: 用来统筹map逻辑以及reducer逻辑

WordCountMapper：
切分，编写map逻辑使得<k1,v1>转换成<k2,v2>

WordcountReducer：

编写reducer逻辑使得<k2,v2>转换成<k3,v3>

WordCountMain

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

   //将map与reducer组织在一起
public class WordCountMain extends Configured implements Tool {