关于MapReduce（一）

MapReduce是一种可用于数据处理的编程模型。该模型比较简单，但是想写出有用的程序却不太容易。Hadoop可以运行Java、Ruby和Python等语言的MapReduce。最重要的是MapReduce本质上是并行运行的，因此可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心。MapReduce的优势在于处理大规模数据集，这里先使用广为流传的气象数据集作为例子来实现一个简单的demo。在实现之前，我们先来介绍一个这个数据集。首先该数据集的数据记录的格式如下所示，

数据文件按照日期和气象站进行组织。从1901到2001年，每一年都有一个目录，每一个目录中包含各个气象站该年气象数据的打包文件及其说明文件，例如，1999年对应文件夹下面就包含下面的记录：

气象台有成千上万个，所以整个数据集由大量的小文件组成。一般情况下，处理小量的大型文件更容易、更高效，因此，这些数据集需要进行预处理，将每年的数据文件拼接成一个单独的文件。

对于该数据集，我们可以使用很多种方式来进行分析，首先，我们就来看一下使用Unix工具类分析数据，传统处理按行存储数据的工具是awk。以下的代码是用来实现每年的最高气温。

 

#！/usr/bin/env bash

for year in all/*

do

    echo –ne `basename $year .gz` “\t”

    gunzip –c $year | \

        awk ‘{ temp = substr($0,88,5) + 0;

              q = substr($0,93,1);

if(temp!=9999 && q ~ /[01459]/ && temp > max) max = temp}

           END {print max}’

<