Pig WordCount案例学习(flatten,TOKENIZE)

最新推荐文章于 2025-07-16 16:53:16 发布

原创最新推荐文章于 2025-07-16 16:53:16 发布 · 463 阅读

1 ·

CC 4.0 BY-SA版权

Pig 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了WordCount的实现步骤，包括数据加载、单词分割、单词分组及计数等核心过程。通过具体示例解释了如何使用TOKENIZE进行字符串分割、如何利用flatten展开集合元素等关键技术点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[size=large][color=red][b]WordCount实现 [/b][/color][/size]
-- ① 加载数据
a= load '/input/data' as (line:chararray);
-- ② 将字符串分割成单词
b= foreach a generate flatten(TOKENIZE(line)) as word;
-- ③ 对单词进行分组
c= group words by word;
-- ④ 统计每组中单词数量
d= foreach c generate group,COUNT(b);
-- ⑤ 打印结果
dump cntd;

[b]foreach a generate group ：[/b]对c中所有key进行分组
a = (a,{})(b,{})(b,{}):foreach a generate group =>得到(a,b,c)
--------------------------------------------------------------
line = (lin lin lin)
[b]TOKENIZE：[/b]foreach a generate TOKENIZE(line,'') =>({(lin),(lin),(lin)})

[b]flatten：[/b]会把集合的内容打开然后组合一个元组； ({(lin),(lin),(lin)}) =>(lin)(lin)(lin)