使用hadoop实现IP个数统计~并将结果写入数据库

转载请注明出处：http://blog.youkuaiyun.com/xiaojimanman/article/details/40372189

    hadoop源代码中的WordCount事例中实现了单词统计，但是输出到HDFS文件，线上程序想使用其计算结果还要再次写个程序，所以自己就研究一下关于MapReduce的输出问题，下面就通过一个简单的例子说明下如何将MapReduce的计算结果输出到数据库中。

需求描述：

    分析网络服务器上的Apache日志，统计每个IP访问资源的次数，并将结果写入到mysql数据库中。

数据格式：

    Apache日志数据如下图所示：

    一行数据就是一条http请求记录，该事例只做简单的IP个数统计。

需求分析：

    通过MapReduce对日志文件采用分布式计算，map主要对日志做简单的拆分计数，reduce对map的结果求和。

    map程序对一行日志数据做简单的拆分，获取客户端IP，输出结果为 key为客户端IP，value为IP出现次数。结果样例如下图所示：

    reduce程序对Key值下的values做求和计算，输出结果为 key为客户端IP，value为IP出现次数。结果样例如下图所示：

    上面的MapReduce程序和WordCount程序类似，只是对IP做了简单的求和计算，下面就需要写reduce的输出格式，使计算结果写入到mysql数据库中。

    MapReduce支持用户自定义的输出格式，定义的类只需要继承FileOutputFormat即可。实现如下图所示：

     自定义输出需要实现getRecordWriter方法，这里通过内部类的方式，实现了自定义的RecordWriter，在MysqlRecordWriter类中实现相关的输出即可完成将reduce结果数据写入到数据库中，具体实现如下图所示：

    在MapReduce程序中，在关于job的设置，只需要将输出格式指定为该输出格式即可完成将reduce的结果写入到数据库中。

job.setOutputFormatClass(MysqlOutputFormat.class)