MapReduce实例----统计平均成绩

最新推荐文章于 2024-01-08 11:04:01 发布

w_t_y_y

最新推荐文章于 2024-01-08 11:04:01 发布

阅读量2.7k

点赞数 1

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/w_t_y_y/article/details/72852035

版权

Hadoop 专栏收录该内容

17 篇文章

订阅专栏

本文介绍了一个使用Hadoop实现的学生分数平均计算程序。通过Mapper和Reducer处理学生分数数据，最终输出每位学生的平均成绩。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.源数据：

张三 90
李四 100
张三 60
李四 80
王五 88
李四 100

2.代码如下：

package com.average;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;


public class Average {
	public static class Map extends Mapper<Object, Text, Text, IntWritable>{
		
		public void map(Object key,Text value,Context context) throws IOException, InterruptedException{
			String line=value.toString();
			String[] line1=line.split(" ");
			String person=line1[0].toString();
			IntWritable i=new IntWritable(Integer.parseInt(line1[1]));
			//System.out.print(person+" "+i);
			context.write(new Text(person), i);
		}
	}
	
	public static  class Redudce extends Reducer<Text, IntWritable, Text, IntWritable>{
		private static IntWritable i=new IntWritable(1);
		public  void reduce(Text key,Iterable<IntWritable> value,Context context) throws IOException, InterruptedException{
			
			int sum=0; //总分
			int ave=0;
			int count=0; //个数
			for(IntWritable v:value){
				sum+=v.get();
				count++;
				//System.out.println(v);
			}
			ave=sum/count;
			IntWritable ave1=new IntWritable(ave);
		
			context.write(key, ave1);
			System.out.println(key+"  "+ave1);
		}
	}
	public static void main(String args[]) throws IOException, ClassNotFoundException, InterruptedException{
		Configuration conf=new Configuration();
		String otherargs[]=new GenericOptionsParser(conf, args).getRemainingArgs();
		if(otherargs.length!=2){
			System.exit(2);
		}
		Job job=new Job(conf,"average");
		job.setJarByClass(Average.class);
		job.setMapperClass(Map.class);
		job.setCombinerClass(Redudce.class);
		job.setReducerClass(Redudce.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		 FileInputFormat.addInputPath(job, new Path(otherargs[0]));

	     FileOutputFormat.setOutputPath(job, new Path(otherargs[1]));

	     System.exit(job.waitForCompletion(true) ? 0 : 1);

	     }



}

程序运行后输出文件夹里面是空的，也是很苦恼。。。。。。