16、基于Pig的Twitter数据处理与分析

基于Pig的Twitter数据处理与分析

1. 扩展Pig（UDFs）

在Pig中，函数几乎可以成为每个操作符的一部分。用户定义函数（UDFs）与内置函数有两个主要区别：
- 首先，UDFs需要使用 REGISTER 关键字进行注册，才能供Pig使用。
- 其次，使用时需要进行限定。

目前，Pig UDFs可以用Java、Python、Ruby、JavaScript和Groovy实现。Java函数得到的支持最为广泛，它允许自定义包括数据加载/存储、转换和聚合等过程的所有部分。此外，Java函数效率更高，因为它与Pig使用相同的语言实现，并且支持额外的接口，如 Algebraic 和 Accumulator 接口。而Ruby和Python API则更适合快速原型开发。

UDFs与Pig环境的集成主要通过以下两条语句管理：
- REGISTER ：注册一个JAR文件，以便使用其中的UDFs，示例代码如下：

REGISTER 'piggybank.jar'

• DEFINE ：为函数或流命令创建别名，示例代码如下：

DEFINE MyFunction my.package.uri.MyFunction

Pig 0.12版本引入了UDFs流机制，用于使用没有JVM