Scala中运用windowing函数

kopunk

于 2019-07-21 22:56:35 发布

阅读量510

点赞数

分类专栏：大数据学习 spark scala 文章标签： scala

本文链接：https://blog.youkuaiyun.com/kopunk/article/details/96773692

版权

本文介绍了如何在Scala中使用windowing函数进行数据处理。通过创建rank spec并为表格添加rank列，展示了Scala在大数据分析中的强大功能。详细代码示例帮助理解操作过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先创建一个rank spec

// 用df("salary").asc代表升序排列，desc代表降序
val rankSpec = Window.partitionBy("age").orderBy(df("salary").desc)

然后为自己的表添加一列rank

val sararyRank = df.withColumn("rank",dense_rank().over(rankSpec))

完整代码：

/*
*  利用spark读取txt文件的内容，生成rdd
*  并用case class的定义去将rdd转化为dataFrame
*
*
*  如果读入一个没有文件头，要另外给schema
* */

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.log4j._
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._

case class people(id:Int, name:String, age:Int)
case class salary (name:String, salary:Int)
case class peopleSalary(id:Int, name:String, age:Option[Int], salary:Int)

object MyScalar {
  def main(args: Array[String]): Unit = {
    Logger.getLogge

最低0.47元/天解锁文章