Spark自定义UDF

最新推荐文章于 2025-07-01 16:49:33 发布

小白鸽

最新推荐文章于 2025-07-01 16:49:33 发布

阅读量654

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark 自定义udf

本文链接：https://blog.youkuaiyun.com/baifanwudi/article/details/85259538

原始数据与结构

+-------------+----------------+-----------+---------------------+----------------+---------+
|start_city_id|transfer_city_id|end_city_id|transfer_traffic_type|end_traffic_type|total_num|
+-------------+----------------+-----------+---------------------+----------------+---------+
|            1|              18|         36|                    T|               T|        7|
|            1|              18|         59|                    T|               T|       33|
|            1|              18|         67|                    T|               T|       81|
|            1|              18|         73|                    T|               T|        3|
|            1|              18|         74|                    T|               T|        6|
|            1|              18|         80|                    T|               T|        7|
|            1|              18|         82|                    T|               T|        6|
|            1|              18|        104|                    T|               T|        1|
|            1|              18|        117|                    T|               T|        1|
|            1|              18|        121|                    T|               T|        2|
|            1|              18|        132|                    T|               T|       11|
|            1|              18|        141|                    T|               T|       23|
|            1|              18|        143|                    T|               T|        6|
|            1|              18|        146|                    T|               T|        1|
|            1|              18|        175|                    T|               T|       35|
|            1|              18|        178|                    T|               T|        7|
|            1|              18|        179|                    T|               T|      119|
|            1|              18|        180|                    T|               T|       66|
|            1|              18|        183|                    T|               T|        2|
|            1|              18|        185|                    T|               T|       15|
+-------------+----------------+----