scala vararg（ * 与 _* 的用法）

原创已于 2023-01-03 17:25:43 修改 · 576 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#scala #开发语言 #spark

于 2023-01-03 17:17:00 首次发布

从零开始学大数据专栏收录该内容

13 篇文章

订阅专栏

代码示例展示了在SparkSQL中如何使用DataFrame的isin函数过滤数据，配合Scala的varargs特性处理可变参数。isin函数需要一个参数列表，_*用于告诉编译器将集合解包为参数序列。这允许我们将一个数组传递给接受任意数量参数的函数，确保正确过滤DataFrame中的不合法id。

先看一段代码

val invalidIds = df.select($"id").groupBy($"id")
				.count.filter($"count" > 10000)
				.select($"id").as[String].collect() 
				// 得到id count>10000的所有id组成的Array，认为它们是不合法的id
df.filter(!$"id".isin(invalidIds:_*)) // 过滤掉这些不合法id

以上代码isin函数中需要标明:_*，为什么呢？

:_*作为一个整体，告诉编译器你希望将某个参数当作参数序列处理！例如val s = sum(1 to 5:_*)就是将1 to 5当作参数序列处理。

在spark sql Column中isin函数的定义是：def isin(list: Any*): Column。函数外部传入：参数序列；函数内定义：vararg。

在 Scala 中，你必须要明确的告诉编译器，你是想将集合作为一个独立的参数传进去，还是想将可变参数传进去。如果是后者则要借助_*

https://www.geeksforgeeks.org/scala-varargs

可变参数（varargs）：vararg的意思就是可以传入多个同类型的参数，并且参数个数可变，比如某个函数定义参数strings : String *，那么函数外传入的参数strings可以是多个String类型元素组成，在函数内部这些参数的类型实际上是Array[String]

https://stackoverflow.com/questions/8000903/what-are-all-the-uses-of-an-underscore-in-scala

val x : Seq[Seq[Int]] = Seq(Seq(1),Seq(2))

def f(arg: Seq[Any]*) : Int = {
 arg.length
}

f(x) // 1 as x is taken as single arg
f(x:_*)  // 2 as x is "unpacked" as a Seq[Any]*

f(x:_*)告诉编译器：解压此参数 x 并将这些元素绑定到函数调用中的 vararg 参数，而不是将 x 作为单个参数。从而将参数传递给 vararg 参数时消除歧义。

f(xs: _*)         // Sequence xs is passed as multiple parameters to f(ys: T*)