Pig FOREACH 嵌套循环

最新推荐文章于 2024-07-21 01:36:29 发布
转载 最新推荐文章于 2024-07-21 01:36:29 发布 · 190 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/jamesf/p/4751587.html

本文详细解读了SQL Nested Block中的FILTER、DISTINCT等操作，并通过实例展示了如何使用这些特性进行数据过滤与去重。重点突出Nested Block的使用场景与效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Example: Nested Block

Suppose we have relations A and B. Note that relation B contains an inner bag.

A = LOAD 'data' AS (url:chararray,outlink:chararray);

DUMP A;
(www.ccc.com,www.hjk.com)
(www.ddd.com,www.xyz.org)
(www.aaa.com,www.cvn.org)
(www.www.com,www.kpt.net)
(www.www.com,www.xyz.org)
(www.ddd.com,www.xyz.org)

B = GROUP A BY url;

DUMP B;
(www.aaa.com,{(www.aaa.com,www.cvn.org)})
(www.ccc.com,{(www.ccc.com,www.hjk.com)})
(www.ddd.com,{(www.ddd.com,www.xyz.org),(www.ddd.com,www.xyz.org)})
(www.www.com,{(www.www.com,www.kpt.net),(www.www.com,www.xyz.org)})

In this example we perform two of the operations allowed in a nested block, FILTER and DISTINCT. Note that the last statement in the nested block must be GENERATE. Also, note the use of projection (PA = FA.outlink;).

X = FOREACH B {
        FA= FILTER A BY outlink == 'www.xyz.org';
        PA = FA.outlink;
        DA = DISTINCT PA;
        GENERATE group, COUNT(DA);
}

DUMP X;
(www.aaa.com,0)
(www.ccc.com,0)
(www.ddd.com,1)
(www.www.com,1)

版权声明：本文为博主原创文章，未经博主允许不得转载。

转载于:https://www.cnblogs.com/jamesf/p/4751587.html

巷中人
关注
Pig UDF原理与代码实例讲解
AI天才研究院
06-04 285
Apache Pig是一种用于并行计算的高级数据流语言和执行框架,最初由Yahoo!研究院开发。它被设计用于分析大型数据集,并且可以与Apache Hadoop紧密集成。Pig的主要优点在于它提供了一种简单而高效的方式来分析大型数据集,同时还具有很强的可扩展性和容错能力。Pig提供了一种称为Pig Latin的数据流语言,用于表达数据分析程序。Pig Latin语言类似于SQL,但是更加简洁和灵活,可以更好地处理半结构化和非结构化数据。
pig常用命令
weixin_34375054的博客
05-27 1387
一、pig： 　　pig提供了一个基于Hadoop的并行地执行数据流处理的引擎。它包含了一种脚本语言，称为Pig Latin。（类似SQL） 二、Pig Latin： 　　1、注释： 　　　　单行：--　　 　　　　多行：/* */ 　　2、输入和输出： 　　　　加载：load '文件' 　　　　　　　　using PigStorage(','); 　　　　　　　　as (ex...
Pig foreach用法举例
weixin_30794491的博客
06-07 331
foreach：一行一行的遍历数据，处理一行的数据，然后返回一个tuple。 users = load '/users.data'; 1）别名引用 f = foreach users generate name, age; 　　 2）位置引用 f = foreach users generate $0, $1; 　　 3...
pig的cogroup详解
weixin_30802273的博客
09-24 720
从实例出发 %default file test.txt A = load '$file' as (date, web, name, food); B = load '$file' as (date, web, name, food); C= cogroup A by $0, B by $1; describe C; illustrate C; dump C; co...
【pig】foreach 生成常量
shuhuai007的专栏
01-08 1046
A = load 'foreach_input' as (user:chararray, id:long, address:chararray, phone:chararray); --B = foreach A generate user, id; B = foreach A generate user, id, 'good'; dump B; 注：'good'是常量
【pig】foreach 中对bag进行count
shuhuai007的专栏
01-08 1320
测试数据文件foreach_bag.log，内容如下： {('b', 55), ('sally', 52), ('john', 25)} {('c', 355), ('msally', 352), ('mjohn', 325)} foreach_bag.pig代码如下： A = LOAD 'foreach_bag.log' as (b:bag{t:(x:chararray, y:int
蓝易云 - Java代码优化：for、foreach、stream使用法则与性能比较
高性价比服务器就选：蓝易云
07-21 386
流操作分为中间操作和终端操作，中间操作返回流，允许我们链式使用。但stream的典型使用场景是在对集合数据进行复杂操作(如过滤、映射、归约等)时，尤其在使用parallel stream（并行流）进行大数据处理时，可能会显得更快，因为并行流可以充分利用多核处理器。总结起来，for、foreach和stream各自都有其适用性和优势，在面对不同的情况时，有意识的选择更合适的工具，能帮助我们更好的解决问题。然而，foreach循环无法直接操作索引，并且无法对集合进行修改操作，这是使用时需要注意的问题。
foreach用法集合嵌套数组
09-01
`foreach` 是用于循环遍历集合或数组的关键字。在嵌套数组的情况下，你可以使用多个 `foreach` 来遍历嵌套的集合或数组。 下面是一个示例代码，展示了如何使用 `foreach` 遍历嵌套数组： ```csharp int[][] nested...
Pig编程入门指南：快速入门和基本概念
Pig提供了一种称为Pig Latin的语言，这是一种类似于SQL的脚本语言，使用户能够轻松地执行各种数据操作和查询。 ## 1.2 Pig编程的应用领域 Pig编程广泛应用于大数据处理和数据分析领域，包括但不限于数据清洗、转换...
MapReduce与Hadoop生态无缝集成：Hive和Pig高级应用技巧
!...# 1. MapReduce核心概念与原理 ## 1.1 MapReduce模型简介 MapReduce是一种编程模型，用于处理和生成大数据集。模型中主要包含两个阶段：Map阶段和Reduce阶段。Map阶段处理输入数据，生成中间键值对；...
Apache Pig的一些基础概念及用法总结
superye1983的专栏
08-17 8823
深入浅出，转一个 转载必须注明出处：http://www.codelast.com/ 转载地址 本文可以让刚接触pig的人对一些基础概念有个初步的了解。 本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解
Pig 常用操作
热门推荐
zythy的专栏
01-18 1万+
以实例形式讲解Pig的基本操作，包括load，store，filter，foreach generate，group，stream，join，cogroup，cross，order，union等。
foreach 内嵌的使用
weixin_30457465的博客
08-13 182
foreach内部处理数据流的每条记录，进行关系操作，最后用generate返回数据给外部。但注意关系操作符不能作用于表达式，要将表达式提取成关系。 foreach内部只支持distinct,filter,limit,order；最后必须是generate； foreach内部处理数据每次处理一条。对group后的关系（流对象），foreach内嵌每次传入一个group子集。...
java8 嵌套循环,Java 8 - Streams嵌套ForEach与不同的集合
weixin_42168830的博客
02-24 831
I try to understand the new Java 8 Streams and I tried for days to transfer nested foreach loops over collection in Java 8 Streams.Is it possible to refactor the following nested foreach loops includi...
flatten
SophieZhou的专栏
09-11 8050
今天通过不断的尝试，终于知道这个flatten的用法了。其实吧，有时候关键是要test，才能充分理解解说。不过，同事给说的有点问题，误导了我。整的我一直没明白怎么回事。 这是官方的解释： The FLATTEN operator looks like a UDF syntactically, but it is actually an operator that changes the
jdk8中forEach使用问题
小小云麓的博客
12-27 5420
实话说，jdk8出来好久了，公司一直用的还是jdk7，没有升级，最近终于升级到jdk8了，所以来自己改改代码，使用jdk8中的新特性，最简单的forEach先来试试 测试代码如下： public static void testJDK8ForEach(){ List<String> asList = Arrays.asList("a","b","a","d"); int ...
pig基本语法——filter distinct foreach
archer的技术故事
09-16 1152
1、主要参考： https://book.itxueyuan.com/3b7D/9PxP   filter主要用户过滤数据，根据条件查询 基础数据: ============================================== [root@cdh1 data]# cat demodata xiaoxiao,12,12.1f aaa,13,1.1f kjkj,12,...
Stream的嵌套使用案例
weixin_40598838的博客
11-30 4141
概述 这样一个案例，List A中套了List B，需要对List B中的元素进行加和操作该怎么办呐？ 案例 AtomicInteger xmhwsjl = new AtomicInteger(); AtomicInteger dldnl = new AtomicInteger(); data.stream().filter(e->"手机".equals(e.getViewType())).forEach(o -> { List<V
unity foreach嵌套循环
最新发布
01-16
### Unity 中使用 `foreach` 进行嵌套循环 在 Unity 开发过程中，有时需要遍历多个集合或数组来处理复杂的数据结构。通过 `foreach` 循环可以简化代码并提高可读性。 #### 单层 `foreach` 循环示例 单层 `foreach` 循环用于遍历单一集合中的元素： ```csharp List<GameObject> gameObjects = new List<GameObject>(); // 假设这里已经添加了一些 GameObject 到列表中 foreach (GameObject gameObject in gameObjects) { // 对每个游戏对象进行操作 } ``` 此方式可以在编译时生成适当的迭代器代码，从而避免每次迭代都需进行索引查找所带来的性能损耗[^1]。 #### 双重 `foreach` 嵌套循环实现 对于双重嵌套的情况，则是在第一个 `foreach` 的内部再次定义一个新的 `foreach` 来访问另一个集合内的项目： ```csharp using System.Collections.Generic; using UnityEngine; public class NestedForeachExample : MonoBehaviour { void Start() { List<List<int>> matrix = new List<List<int>>() { new List<int>() { 1, 2 }, new List<int>() { 3, 4 } }; foreach (var row in matrix) { Debug.Log("New Row:"); foreach (var element in row) { Debug.Log(element); } } } } ``` 这段代码展示了如何在一个二维整数列表上应用两个层次的 `foreach` 循环。外部循环负责逐行列出每一行的内容；而内层则针对当前所选的那一行里的每一个数值做进一步的操作。 #### 多维数据集上的多重 `foreach` 应用场景 如果面对的是更加复杂的三维甚至更高维度的数据集，同样可以通过增加更多级别的 `foreach` 结构来进行遍历： ```csharp void ExampleOfTripleNestedLoops() { Dictionary<string, List<Dictionary<string, string>>> complexDataStructure = new Dictionary<string, List<Dictionary<string, string>>>(); foreach (KeyValuePair<string, List<Dictionary<string, string>>> outerEntry in complexDataStructure) { Debug.Log($"Outer Key: {outerEntry.Key}"); foreach (Dictionary<string, string> innerDict in outerEntry.Value) { foreach (KeyValuePair<string, string> kvp in innerDict) { Debug.Log($"{kvp.Key}: {kvp.Value}"); } } } } ``` 上述例子说明了即使是对极其复杂的数据结构也可以利用多级 `foreach` 完成优雅且高效的遍历工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值