selectExpr：可以对指定字段进行特殊处理

最新推荐文章于 2024-10-12 09:38:22 发布

转载最新推荐文章于 2024-10-12 09:38:22 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：jianshu.com/p/056c51c90a39

Spark 专栏收录该内容

49 篇文章

订阅专栏

该博客展示了如何使用DataFrame的selectExpr方法对数据进行处理，包括字段重命名和日期格式转换。示例中，type字段被重命名为visittype，visittime字段通过to_date函数转换为日期格式，输出结果清晰地显示了转换后的数据。

可以直接对指定字段调用UDF函数，或者指定别名等。传入String类型参数，得到DataFrame对象。比如，将type字段重新命名为visittype，同时截取visittime的date：

df.selectExpr("user","type as visittype","to_date(visittime)").show()

输出为：

+----+---------+--------------------------------+
|user|visittype|to_date(CAST(visittime AS DATE))|
+----+---------+--------------------------------+
|   1|      助手1|                      2017-08-10|
|   1|     APP1|                      2017-08-04|
|   2|      助手1|                      2017-08-05|
|   2|      助手1|                      2017-08-07|
|   3|     APP1|                      2017-08-02|
|   3|     APP1|                      2017-08-01|
|   3|      助手2|                      2017-08-14|
|   3|     APP2|                      2017-08-03|
|   2|     APP2|                      2017-08-11|
|   2|      助手1|                      2017-07-14|
|   1|     APP1|                      2017-07-15|
|   1|      助手2|                      2017-07-07|
+----+---------+--------------------------------+