Pig简介

        Pig为大型数据集的处理提供了更高层次的抽象。

        Pig提供了丰富的数据结构，一般都是多值和嵌套的数据结构，pig还提供很强大的数据变换操作，包括在MR中被忽视的join操作。

Pig包括两个部分：
1.用于描述数据流的语言-Pig Latin;

2.用于运行Pig Latin程序的执行环境，当前有两个环境：单JVM中的local执行环境和Hadoop集群上的分布式执行环境。

        一个Pig Latin程序由一系列的operation或transformation组成。每个operation或transformation对输入进行数据处理，然后产生输出结果。这些操作基本上描述了一个数据流。在pig内部，这些变换操作被转换成一系列MR作业，程序员不需要去了解这些转换是如何进行的。
        Pig是一种探索大规模数据集的脚本语言。pig提供了多个命令用于检查和处理程序中的数据结构，能够很好的支持程序员写查询。
        Pig被设计为可扩展的，处理路径中的每一个部分，载入、存储、过滤、分组、连接，都是可以定制的。这些操作都可以用UDF进行修改，这些函数作用于Pig的嵌套数据模型，其可以在底层与Pig的操作集成。UDF比用MR开发的库更易于重用。
        Pig不适合执行查询一个大型数据集中的一小部分数据，因为Pig要扫描整个数据集或其中的很大一部分。