Pig Latin 简单使用

最新推荐文章于 2024-07-05 23:43:11 发布

原创最新推荐文章于 2024-07-05 23:43:11 发布 · 555 阅读

0 ·

CC 4.0 BY-SA版权

pig 专栏收录该内容

2 篇文章

订阅专栏

本文深入探讨了Pig脚本在数据处理流程中的作用，详细介绍了其核心概念如数据模型、常用语句及运行样例。通过实例展示了如何利用Pig进行数据加载、过滤、分组与存储等操作，旨在帮助读者掌握数据处理的基本技能。

一、数据模型
1. Bag #包，相当于RDB中的表
2. Tuple #元组，相当于RDB中的行
3. Field #属性,相当于RDB中的列

二、、常用语句
1. LOAD #指出载入数据的方法
2. FOREACH #逐行扫描进行某种处理
3. FILTER #过滤行
4. DUMP #把结果显示到屏幕
5. STORE #把结果保持到文件
6. DESCRIBE #显示一个关系变量的结构信息

三、运行样例
## -- max_temp.pig: 统计每一年的最高温度
records = LOAD 'input/ncdc/micro-tab/sample.txt' AS (year:chararray, temperature:int, quality:int);
filtered_records = FILTER records BY temperature != 9999 AND (quality == 0 OR quality == 1 OR quality == 4 OR quality = 5 OR quality == 9);
grouped_records = GROUP filtered_records BY year;
max_temp = FOREACH grouped_records GENERATE group, MAX(filtered_records.temperature);
DUMP max_temp;