map/reduce实例（一）

最新推荐文章于 2024-07-14 11:10:53 发布

原创

最新推荐文章于 2024-07-14 11:10:53 发布 · 416 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了MapReduce的基础应用——WordCount，包括Mapper、Reducer和Driver的职责。接着深入讲解了如何使用Bean对象封装来处理更复杂的业务逻辑，例如统计手机号的上行、下行和总流量，并详细展示了Bean的定义、Mapper和Reducer的实现。最后，通过调整分区策略，实现了按手机号前三位进行分区的优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

map/reduce基础——wordcount

wordcount是map/reduce中最基础的一个案例，是一个入门练习案例。
map/reduce一般分为三个组件mapper、reducer、dirver。mapper和reducer负责业务逻辑，driver负责提交业务。

mapper如下

public class Mapwordc extends Mapper<LongWritable, Text, Text, IntWritable> {
	//该案例中ivalue的样式：hello world ni hao zm love
	@Override
	public void map(LongWritable ikey, Text ivalue, Context context) throws IOException, InterruptedException {
		//map task 从文件按行读取<key,value>，第一个key默认是行偏移量，value是一行的数据
		//把第一行数据转成字符串存放在line变量中
		String line = ivalue.toString();
		//按照空格将字符串line进行切分，存放在字符数组words[]中
		String words [] = line.split(" ");
		//遍历words数组，将其中的word作为key，进行输出，输出的<k,v>格式为<key,1>
		for (String word:words) {
			context.write(new Text(word), new IntWritable(1));
		}
	}

reducer如下

//reducer获得的数据格式如下：<hello,1>、< world,1>、< ni,1>、< hao,1>、< zm,1>、< love,1>
	//reducer获得的key是Text，value是整形1
	@Override
	public void reduce(Text _key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
		// process values
		//设置一个变量进行计数
		int count = 0;
		
		//遍历values每个values都是1，每有一个value都在count上加一计数
		for(IntWritable value:values) {
			count+=value.get();
		}
		
		//同样是遍历values和上面效果一样。
		/*Iterator<IntWritable> iterator = values.iterator();
		while(iterator.hasNext()) {
			IntWritable value = iterator.next();
			count += value.get();
		}*/
		
		//输出<key,value>,key就是map传进来的key，value是对key的计数count
		context.write(_key, new IntWritable(count));
		
	}

driver程序

public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf,"driwordc");
		
		job.setJarByClass(cn.pdsu.mr.driwordc.class);