Spark(42) -- SparkStreaming -- reduceByKeyAndWindow 函数详解

最新推荐文章于 2022-07-09 21:01:11 发布

原创最新推荐文章于 2022-07-09 21:01:11 发布 · 527 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

大数据学习专栏收录该内容

148 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了SparkStreaming中的reduceByKeyAndWindow函数，用于实现窗口统计，例如每隔一段时间统计最近数据状态。通过图解、代码演示和执行过程，展示了如何在窗口大小为24H，滑动间隔为1H的情况下，统计最近搜索词的Top10。文章还探讨了集成SparkSQL进行更复杂的窗口分析，提供了具体案例，强调了从Socket读取数据、ETL转换、状态全局累计操作、RDD转DataFrame以及使用foreachRDD和SparkSQL处理数据的重要性。

SparkStreaming中提供一些列窗口函数，方便对窗口数据进行分析，文档：
streaming-programming-guide#window-operations
在实际项目中，很多时候需求：每隔一段时间统计最近数据状态，并不是对所有数据进行统计，称为趋势统计或者窗口统计，SparkStreaming中提供相关函数实现功能，业务逻辑如下：
在这里插入图片描述
针对用户百度搜索日志数据，实现【近期时间内热搜Top10】，统计最近一段时间范围（比如，最近半个小时或最近2个小时）内用户搜索词次数，获取Top10搜索词及次数。

1. 图解

滑动窗口转换操作的计算过程如下图所示，
我们可以事先设定一个滑动窗口的长度(也就是窗口的持续时间)，并且设定滑动窗口的时间间隔(每隔多长时间执行一次计算)，
比如设置滑动窗口的长度(也就是窗口的持续时间)为24H,设置滑动窗口的时间间隔(每隔多长时间(滑动依次)执行一次计算)为1H
那么意思就是:每隔1H计算最近24H的数据