气象数据集例子Java程序代码

最新推荐文章于 2024-08-08 22:16:05 发布

原创

最新推荐文章于 2024-08-08 22:16:05 发布 · 1.8k 阅读

2 ·

CC 4.0 BY-SA版权

这篇博客介绍了一个使用Java编程处理气象数据集的例子，通过Mapper接口进行数据转换，Mapper的输入键为LongWritable，输入值为Text，输出键为Text（年份），输出值为IntWritable（气温）。Hadoop提供了优化的网络序列化基本类型，位于org.apache.hadoop.io包中。Reducer接口的输入键值与Mapper的输出键值匹配，确保数据处理的连续性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import java.io.*;
import org.apache.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
public class MaxTemperature{
	public static void main(String[]args) throws IOException{
	//	args=new String[2];
	//	args[0]="/home/yukjin/Downsload/1901";
	//	args[1]="output";
		if(args.length!=2){
			System.err.println("Usage:MaxTemperature <input path> <output path");
			System.exit(-1);
		}
		JobConf conf=new JobConf(MaxTemperature.class);//JobConf指定作业执行规范，可以使用它控制整个作业的运行
		conf.setJobName("Max temperature");
		FileInputFormat.addInputPath(conf,new Path(args[0]));//指定文件输入路径，路径既可以是单个文件也可以是某个目录，也可多次调用实现多路径输入
		FileOutputFormat.setOutputPath(conf,new Path(args[1]));//指定文件输出路径，执行前该路径不能存在，负责hadoop拒绝运行该任务
		conf.setMapperC