Apache Spark，如何将“CASE WHEN ... ELSE ...”计算列添加到现有的DataFrame中？

最新推荐文章于 2025-02-14 23:58:23 发布

m0_48714980

最新推荐文章于 2025-02-14 23:58:23 发布

阅读量380

点赞数

CC 4.0 BY-SA版权

原文链接：https://cloud.tencent.com/developer/ask/36968

在不同Spark版本中，创建条件列的方法有所不同。在Spark 1.4.0及更高版本，可以使用`when/otherwise`语法，例如将颜色为'Green'的列设置为1，否则为0。在Spark 1.3.0版本中，需要借助用户定义函数(UDF)来实现相同功能。而在Spark 1.5.0中，可以使用SQL表达式的`case when`来完成这一任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在SPARK 1.4.0版本中。您可以使用WHERE/OUCK语法：
// Create the dataframe
val df = Seq(“Red”, “Green”, “Blue”).map(Tuple1.apply).toDF(“color”)

// Use when/otherwise syntax
val df1 = df.withColumn(“Green_Ind”, when($“color” === “Green”, 1).otherwise(0))

如果您使用的是SMARK 1.3.0，则可以选择使用UDF：
// Define the UDF
val isGreen = udf((color: String) => {
if (color == “Green”) 1
else 0
})
val df2 = df.withColumn(“Green_Ind”, isGreen($“color”))

在Spark1.5.0中：您还可以使用SQL语法Exr函数
val df3 = df.withColumn(“Green_Ind”, expr(“case when color = ‘green’ then 1 else 0 end”))

或者
df.registerTempTable(“data”)
val df4 = sql(""" select *, case when color = ‘green’ then 1 else 0 end as Green_ind from data “”")