wordCount的三种实现方式（mapreduce,scala,spark）

最新推荐文章于 2022-01-02 21:01:02 发布

qq_39682761

最新推荐文章于 2022-01-02 21:01:02 发布

阅读量1k

点赞数

分类专栏： spark 文章标签： wordcount

本文链接：https://blog.youkuaiyun.com/qq_39682761/article/details/88647901

版权

本文详细介绍了WordCount的三种实现方式，包括使用MapReduce、Scala以及Spark进行离线和实时统计的方法。针对MapReduce，分别阐述了Mapper、Reducer和Driver类的功能。而在Scala和Spark中，探讨了如何利用这两种强大的工具来实现词频统计。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

1. mapreduce实现

Mapper类

public class WordCountMapper extends Mapper<LongWritable,Text,Text,IntWritable>{
	/*
	 * LongWritable key:输入的每一行的偏移量   框架读取的
	 * Text value：输入的每一行的内容
	 * Context context：上下文对象   用于向reduce发送数据 读取框架给的东西
	 * 
	 * 调用频率：一行调用一次
	 * 一个文本100行  这个方法就会调用100次
	 */
	@Override
	protected void map(LongWritable key, Text value, Context context)
			throws IOException, InterruptedException {
		//读取每一行内容,转换为String
		String line = value.toString();
		String[] words = line.split("/t");
		/*
		 * 如果要统计  只能统计一行的  并不能统计一个文件的
		 * 全部发送到reduce端进行统计
		 * key：单词
		 * value：1
		 */
		for(String w:words) {
			Text k = new Text(w);
			IntWritable v = new IntWritable(1);
			context.write(k, v);
		}
	}
}

Reducer类

public class WordCountReducer extends Reducer<Text,IntWritable,Text,IntWritable>{
	/*map到reduce之间有一个shuffle的过程（洗牌/将map输出的数据进行打乱  重洗）   
	Context context  上下文对象   向上承接map 向下输出结果 hdfs/本地
	这个函数的调用频率：一组调用一次  有多少组就调用几次
	 */
	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,
			Context context) throws IOExc

最低0.47元/天解锁文章