Hive索引功能测试

作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处

从Hive的官方wiki来看，Hive0.7以后增加了一个对表建立index的功能,想试下性能是否有很大提升，参考了一些资料亲手实现了一遍，记录下过程和心得

一.测试数据准备

1.新建一个gen-data.sh脚本，内容如下

#! /bin/bash  
#generating 1.7G raw data.  
i=0
while [ $i -ne 5000000 ]  
do
        echo "$i        A decade ago