【Pig源码分析】谈谈Pig的数据模型

浅唱书令

已于 2023-06-01 11:01:41 修改

阅读量172

点赞数

分类专栏：大数据见微文章标签： java 数学建模 apache

于 2016-01-20 14:20:00 首次发布

本文链接：https://blog.youkuaiyun.com/keyboardlabourer/article/details/130980522

版权

大数据见微专栏收录该内容

39 篇文章 ¥19.90 ¥99.00

订阅专栏

本文详细探讨了Pig的数据模型，包括Schema、数据类型、Tuple和Bag。介绍了Schema在数据处理中的作用，如field的命名、类型和默认值，并解释了在不同操作中未指定或不匹配的schema如何处理。此外，文章还分析了Pig的源码，讲解了Tuple和Bag的实现细节，以及如何通过工厂模式创建它们。最后，文章通过实战例子展示了如何利用Pig处理avro日志数据，强调了在编写UDF时指定schema的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 数据模型

Schema

Pig Latin表达式操作的是relation，FILTER、FOREACH、GROUP、SPLIT等关系操作符所操作的relation就是bag，bag为tuple的集合，tuple为有序的field列表集合，而field表示数据块(A field is a piece of data)，可理解为数据字段。

Schema为数据所遵从的类型格式，包括：field的名称及类型(names and types)。用户常用as语句来自定义schema，或是load函数导入schema，比如：

A = foreach X generate .. as field1:chararray, .. as field2:bag{};
A = load '..' using PigStorage('\t', '-schema');
A = load '..' using org.apache.pig.piggybank.storage.avro.AvroStorage();

若不指定field的类型，则其默认为bytearray。对未知schema进行操作时，有：

了解本专栏