Hive数据挖掘实战教程

Hive 提供类SQL接口处理HDFS上数据，同时提供基于hadoop数据库访问，从而降低程序员的工作强度，省去了map/reduce的编程时间，为快速大数据分析提供了很好手段，下面是基于Hive数据分析一个实例。

1， 环境配置：

Hadoop 2.6 + hive + mysql (linux)

搭建步骤可参考相关文档，此处略去。

2， 数据源文件获取（仅作参考）：

http://seanlahman.com/files/database/lahman591-csv.zip

3， 实战目标：

目标源文件为篮球运动分析记录，通过HIve找出每年参赛者最高运动次数并按升序排列出来，并且找个这个参赛者的id, 数据源包括多年记录，总共超过9万行数据，

4， 解压文件找出Batting.csv 和Master.csv 两个源文件，并且上传到hadoop 的HDFS文件系统中：

• HDFS上创建data文件夹