spark使用withcolumn lit新增一常数列赋值为-1

最新推荐文章于 2023-07-14 10:39:17 发布

原创最新推荐文章于 2023-07-14 10:39:17 发布 · 161 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #分布式

该博客展示了如何在Scala中利用Spark DataFrame API进行数据操作，具体是将一个常量列添加到已有的DataFrame中。通过`withColumn`方法和`lit`函数，可以轻松地为DataFrame增加一个固定值的列，例如在这里将-999作为新列'bit'的值，并展示更新后的DataFrame。

scala> val a = Seq(("a", 2),("b",3)).toDF("name","score")
a: org.apache.spark.sql.DataFrame = [name: string, score: int]

scala> a.show()
+----+-----+
|name|score|
+----+-----+
|   a|    2|
|   b|    3|
+----+-----+

scala> a.withColumn("bit", lit(-999)).show
+----+-----+----+
|name|score| bit|
+----+-----+----+
|   a|    2|-1|
|   b|    3|-1|
+----+-----+----+

https://stackoverflow.com/questions/32788322/how-to-add-a-constant-column-in-a-spark-dataframe