Mapreducer天气排序，分区，分组，排序

最新推荐文章于 2020-11-12 16:03:01 发布

飞鸟zjs

最新推荐文章于 2020-11-12 16:03:01 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/asdfzjs/article/details/47808389

这段代码演示了如何利用MapReduce处理天气数据，通过Mymapper进行数据解析，Myreducer进行数据聚合，MyParttioner进行分区，MyGroup和Mysort实现自定义分组和排序。作业配置包括设置输入输出路径、Mapper和Reducer类，以及自定义比较器和分区器，旨在按年月降序排列最高温度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

<pre name="code" class="html"><pre name="code" class="html">package com.zjs.mr2;

import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;




public class JobRun {
public static void main(String[] args) {
		JobRun jr =new JobRun();
		try {
			System.out.println(jr.run() ?"执行成功":"执行失败");
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
	
	public boolean run() throws Exception{
		Configuration conf