使用Spark和Pig统计每秒钟微博数量

手头有一个新浪微博的数据集，大概在1亿条左右。用Pig和Spark写了几行代码，基于400w条微博，统计了每秒钟发了多少条微博。

Life is too short , show me the code.

将数据从本地拷到HDFS上：

hadoop fs -copyFromLocal /home/data/weibo/201605/weibo_freshdata.2016-05-01 /input/weibo/201605

Pig脚本：

启动pig的grunt交互式窗口：

pig

默认在Hadoop集群环境中运行。脚本如下：

weibo = LOAD 'hdfs://master:9000/input/weibo/201605/weibo_freshdata.2016-05-01';

-- $1是发布事件
grouped_weibo = group weibo by $1;

counts = foreach grouped_weibo generate