大数据分析 hadoop 下mapreduce编程

最新推荐文章于 2023-08-25 10:15:36 发布

小果果WRT

最新推荐文章于 2023-08-25 10:15:36 发布

阅读量404

点赞数

文章标签： hadoop 大数据 mapreduce

本文链接：https://blog.youkuaiyun.com/weixin_44542349/article/details/105792739

版权

本文探讨了在大数据分析的背景下，如何使用Hadoop的MapReduce进行编程。内容包括MapReduce的基本操作，如通过reduce阶段进行求和与平均值计算，并强调了在编程过程中try-catch异常处理和非法输入的布尔函数判断的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大数据分析 hadoop 下mapreduce编程

#题目要求
在这里插入图片描述
#代码实现
可以有两个reduce分别做sum;avg(combine;reduce)
也可以合起来reduce(reduce)以下为合起来的代码

注意try catch用法；非法输入判断用布尔函数

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapred.TextInputFormat;
import org.apache.hadoop.mapred.TextOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;


public class Hw2Part1