编写自己的hadoop程序并打包运行

最新推荐文章于 2024-05-01 20:58:19 发布

shelmi

最新推荐文章于 2024-05-01 20:58:19 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop mapreduce hdfs jar

本文链接：https://blog.youkuaiyun.com/Incy_1218/article/details/45566693

看了Hadoop权威指南第三版上面的计算最大温度的例子之后自己动手实践了一遍。下面是过程：

首先是数据，我只用了两个年份两个TXT文本：

接下来是MaxTemperatureMapper.java代码：

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class MaxTemperatureMapper extends
	 Mapper<LongWritable,Text,Text,IntWritable> 
	{
		private static final int MISSING = 9999;
		@Override
		public void map(LongWritable key,Text value,Context context)
			throws IOException,InterruptedException
			{
				String line = value.toString();
				String year = line.substring(15,19);
				int airTemperature;
				if(line.charAt(87) == '+')
				{
					airTemperature = Integer.parseInt(line.substring(88,92));
				}
				else
				{
					airTemperature = Integer.parseInt(line.substring(87,92));
				}
				String quality = line.substring(92,93);
				if(airTemperature != MISSI