原文链接:https://blog.youkuaiyun.com/xiligey1/article/details/82457247
scala> movies.show(truncate = false)
+-------+---------+-----------------------+
|movieId|movieName|genre |
+-------+---------+-----------------------+
|1 |example1 |action|thriller|romance|
|2 |example2 |fantastic|action |
+-------+---------+-----------------------+
假设有DataFrame movies如上所示,要将genre字段按|切开,并将切开的每个子集保存为一行该如何操作?
scala> movies.withColumn("genre", explode(split($"genre", "[|]"))).show
+-------+---------+---------+
|movieId|movieName| genre|
+-------+---------+---------+
| 1| example1| action|
| 1| example1| thriller|
| 1| example1| romance|
| 2| example2|fantastic|
| 2| example2| action|
+-------+---------+---------+
————————————————
版权声明:本文为优快云博主「数据科学家修炼之道」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.youkuaiyun.com/xiligey1/article/details/82457247
Scala DataFrame列拆分实战
本文详细介绍如何使用Scala处理DataFrame中的复杂数据结构,通过实例演示如何将包含多个元素的单个字段拆分为多行,每行包含原字段的一个元素。这一技巧在处理电影类型等多值字段时尤其有用。
4799

被折叠的 条评论
为什么被折叠?



