pyspark窗口windows

原创已于 2022-04-17 09:51:11 修改 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#windows #spark #大数据

于 2022-02-18 22:32:31 首次发布

spark 专栏收录该内容

20 篇文章

订阅专栏

本文详细介绍了如何使用PySpark的窗口函数进行滑动窗口计算，包括统计列的总和和平均值，以及获取上一行的值。通过示例展示了如何按照特定字段分组和排序，并利用Window对象定义窗口范围，实现数据处理中的复杂分析操作。同时，还展示了如何计算排序后的rank值，为数据排序和分析提供便利。

pyspark窗口windows

1. 根据滑窗计算统计量

from pyspark.sql import Window, SparkSession
import pyspark.sql.functions as F
data = spark.createDataFrame(...)
# data.columns = ['A', 'B', 'C', 'D]
# 对data按A作groupby分区，然后在每个分区内根据B做排序，并将当前行和前两行作为一个组合，计算每个组合内列C的总和和列D的平均值
win=Window.partitionBy("A").orderBy(data['B']).rowsBetween(-2, Window.currentRow)
data.withColumn("c_s", F.sum("C").over(win)).withCOlumn("d_mean", F.mean("D").over(win))

2. 根据滑窗找出上一行的值

from pyspark.sql import Window, SparkSession
import pyspark.sql.functions as F
data = spark.createDataFrame(...)
# data.columns = ['A', 'B', 'C', 'D]
# 将data按A进行groupby分组，对每组按B排序，然后在每个分区内找出当前行的上一行，形成一个新列
win = Window.partitionBy("A").orderBy(data['B'])
data.withColumn("C_lag", F.lag("C").over(win))

3. 排序，并将rank值作为一个新列

import pyspark.sql.functions as F
from pyspark.sql import Window
win = Window.orderBy(F.desc("A"))
data.withColumn("rank",F.dense_rank().over(win)).show()