Just Do IT !

转载出处：http://www.codelast.com/ 本文可以让刚接触pig的人对一些基础概念有个初步的了解。 本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解

问题说明：由于电信公司一般把通话记录CDR存放在传统的关系数据库中,需要统计或者查询时，只需要简单的几条sql语句即可查找出来；但是随着数据量的不断增大，特别数据量达到海量级别时，如果还是从传统数据库来进行查找的话，将是非常费时的；由于查询可以分解为过滤，聚合，统计等步骤，用分布式（mapreduce）的方式来处理是十分适合的。因为操作对每一条记录都是独立的，因此可以将表中所有数据存放在hdfs的一个文件cdr.txt中，由于cdr.txt在HDFS中是存放在多台计算机中，之间没有相关性，因此可以将计算分布