用mapreduce 处理气象数据集

编写程序求每日最高最低气温，区间最高最低气温

1. 气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa
2. 按学号后三位下载不同年份月份的数据（例如201506110136号同学，就下载2013年以6开头的数据，看具体数据情况稍有变通）
3. 解压数据集，并保存在文本文件中
4. 对气象数据格式进行解析
5. 编写map函数，reduce函数
6. 将其权限作出相应修改
7. 本机上测试运行代码
8. 放到HDFS上运行
   1. 将之前爬取的文本文件上传到hdfs上
   2. 用Hadoop Streaming命令提交任务
9. 查看运行结果

1-2：

由于我的学号是159，但是因为我所设的内存不够，所以我下载了2015年以9开头的几份数据压缩包以910,911,912为主：

 

3.解压数据集，并保存在文本文件中

 

4.对气象数据格式进行解析，打开文件的开头，查看气象数据集

通过分析第一段：

:1-4： 0195 ；  5-10:910660  表示：城市的气象站编号，不过我上网查了下好像没这个； 11-15:227012 是气象站标识符    ；   16-23:20150101  则是指2015年1月1日的气象记录；  24-27:0056  气候记录时间00：56分    ；  28:4 ；  29-34：+28202  纬度（1000倍）大概是北纬28.2度 ；  35-41：-177381 经度（1000倍）大概是东经177度；

42-46：FM-15   ；   47-51 ：+0004  海拔（米）； 52-56：99999； 57-60：V020 ； 61-63:200  风向；64：:1；65：N  质量代码；。。。。。88-92：+0227 空气温度（摄氏度）

 

5.

编写map函数，reduce函数

 

 

 

将其权限作出相应修改

本机上测试运行代码

放到HDFS上运行

将之前爬取的文本文件上传到hdfs上

用Hadoop Streaming命令提交任务

 

 

查看运行结果

转载于:https://www.cnblogs.com/tiankongyiluozhiwu/p/9015732.html