dataframe记录数_在SparkDataFrame中找到每个组的最大行数

使用join(如果有关系，将导致一组以上的排)：import pyspark.sql.functions as F

from pyspark.sql.functions import count, col

cnts = df.groupBy("id_sa", "id_sb").agg(count("*").alias("cnt")).alias("cnts")

maxs = cnts.groupBy("id_sa").agg(F.max("cnt").alias("mx")).alias("maxs")

cnts.join(maxs,

(col("cnt") == col("mx")) & (col("cnts.id_sa") == col("maxs.id_sa"))

).select(col("cnts.id_sa"), col("cnts.id_sb"))

使用窗口函数(将删除领带)：from pyspark.sql.functions import row_number

from pyspark.sql.window import Window

w = Window().partitionBy("id_sa").orderBy(col("cnt").desc())

(cnts

.withColumn("rn", row_number().over(w))

.where(col("rn") == 1)

.select("id_sa", "id_sb"))

使用struct订购：from pyspark.sql.functions import struct

(cnts

.groupBy("id_sa")

.agg(F.max(struct(col("cnt"), col("id_sb"))).alias("max"))

.select(col("id_sa"), col("max.id_sb")))