mapreduce求ncdc气象数据中最低温度

网上对于ncdc求最低温度的mapreduce例子有多个版本，大多是hadoop1.x旧版本，且map函数使用的都是不匹配的输入数据格式，本文在hadoop2.7.3环境中运行ncdc气象 从数据求最低气温例子，从下载ncdc的气象数据到执行mapredeuce程序给出详细步骤：

1、下载数据：

下载地址： ftp://ftp.ncdc.noaa.gov/pub/data/   有两个文件夹 /noaa 和 /gsod 文件格式分别为：

noaa：

gsod：

本例中使用gsod数据，只下载2016和2017数据：

通过wget下载：wget -r -c  ftp://ftp.ncdc.noaa.gov/pub/data/gsod/2017

2、解压合并数据：

下载后的数据是多个gz包，需要处理成我们能用的文本数据。

$ zcat *.gz > ../ncdc.txt