java spark deataset 关于pivot的一点用法

最新推荐文章于 2024-04-24 20:12:39 发布

黏黏怪

最新推荐文章于 2024-04-24 20:12:39 发布

阅读量365

点赞数

分类专栏： java spark api 文章标签： spark

本文链接：https://blog.youkuaiyun.com/weixin_38425162/article/details/105866663

版权

java spark api 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种使用Pivot函数进行数据聚合的方法，通过指定列名和查询条件，实现对特定数据集的有效统计和分析。示例中，对d列的'1'和'2'两个值进行了计数，并填充了缺失值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

//pivot用的列名，只查询d=1,2的情况
Object[] pagetype = new Object[]{"1", "2"};
List<Object> columns = Arrays.asList(pagetype);
Dataset<Row> DF2 = DF.groupBy(col("a"),col("b"),col("c"))
		.pivot("d", columns).count().na().fill(0)
		.withColumnRenamed("1", "d_count_1")
		.withColumnRenamed("2", "d_count_2");