spark sql select中传入可变参数列，并拆解动态Map列

风翔

于 2022-01-21 17:08:57 发布

阅读量2.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark sql 大数据

本文链接：https://blog.youkuaiyun.com/sequoia00/article/details/122625439

spark 专栏收录该内容

8 篇文章

订阅专栏

本文介绍如何在SparkSQL中使用动态方式拆解数组列。通过将固定的列名替换为可配置的列表，实现对wCycle数组列中不同元素的灵活选择。这种方法提高了代码的灵活性和可维护性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark sql select中传入可变参数列，并拆解动态数组列

记录下对某个数组列进行拆解时，如何动态传入可变的参数问题

原来的静态写入形式：

 val resultAllDF = resultDF.select(
      col("wCycle").getItem("starttime").as("starttime"),
      col("wCycle").getItem("endtime").as("endtime"),
      col("wCycle").getItem("level").as("level"))

其中的参数可能经常变化，而且需要可配置化，所以改成以下方式传入：

 val list = List("starttime",
      "endtime",
      "level"
    ).map(x=>col("wCycle").getItem(x).as(x))

    resultDF.select(list: _*).show(false)

其中 wCycle列是一个Map列，可以定义个List来动态组织Map列里的内容，这样就可以把这个Map列配置化的拆分成多个单独的列了。