spark dataFrame 新增一列函数withColumn

最新推荐文章于 2024-09-18 22:04:55 发布

zhuiqiuuuu

最新推荐文章于 2024-09-18 22:04:55 发布

阅读量6.3w

点赞数 1

分类专栏： spark 文章标签： spark

spark 专栏收录该内容

23 篇文章

订阅专栏

本文介绍如何使用Apache Spark的DataFrame API来新增一列，并通过实际代码示例展示了如何使用withColumn函数来实现这一操作。此外，还说明了在使用withColumn函数时需要注意的细节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 http://blog.youkuaiyun.com/sparkexpert/article/details/51023375
 

往一个dataframe新增某个列是很常见的事情。

然而这个资料还是不多，很多都需要很多变换。而且一些字段可能还不太好添加。

不过由于这回需要增加的列非常简单，倒也没有必要再用UDF函数去修改列。

利用withColumn函数就能实现对dataframe中列的添加。但是由于withColumn这个函数中的第二个参数col必须为原有的某一列。所以默认先选择了个ID。

Scala> val df = sqlContext.range(0, 10)
df: org.apache.Spark.sql.DataFrame = [id: bigint]

scala> df.show()
+---+
| id|
+---+
| 0|
| 1|
| 2|
| 3|
| 4|
| 5|
| 6|
| 7|
| 8|
| 9|
+---+

scala> df.withColumn("bb",col(id)*0)
<console>:28: error: not found: value id
df.withColumn("bb",col(id)*0)
^

scala> df.withColumn("bb",col("id")*0)
res2: org.apache.spark.sql.DataFrame = [id: bigint, bb: bigint]

scala> df.show()
+---+
| id|
+---+
| 0|
| 1|
| 2|
| 3|
| 4|
| 5|
| 6|
| 7|
| 8|
| 9|
+---+

scala> res2.show()
+---+---+
| id| bb|
+---+---+
| 0| 0|
| 1| 0|
| 2| 0|
| 3| 0|
| 4| 0|
| 5| 0|
| 6| 0|
| 7| 0|
| 8| 0|
| 9| 0|
+---+---+

scala> res2.withColumn("cc",col("id")*0)
res5: org.apache.spark.sql.DataFrame = [id: bigint, bb: bigint, cc: bigint]

scala> res3.show()
<console>:30: error: value show is not a member of Unit
res3.show()
^

scala> res5.show()
+---+---+---+
| id| bb| cc|
+---+---+---+
| 0| 0| 0|
| 1| 0| 0|
| 2| 0| 0|
| 3| 0| 0|
| 4| 0| 0|
| 5| 0| 0|
| 6| 0| 0|
| 7| 0| 0|
| 8| 0| 0|
| 9| 0| 0|
+---+---+---+