Spark读取csv转为Array[Map(String,String)]格式

w1753654213

于 2022-03-28 16:36:41 发布

阅读量2.3k

点赞数 1

分类专栏： python算法文章标签： python scala

本文链接：https://blog.youkuaiyun.com/w1753654213/article/details/123799167

版权

python算法专栏收录该内容

3 篇文章

订阅专栏

本文介绍使用Apache Spark从CSV文件中读取数据，并将其转换为Map集合的过程。通过具体的代码示例展示了如何构建SparkSession、读取CSV文件、收集数据、解析数据行并存储为Map。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

工作中碰到需要代码如下：

val spark: SparkSession = SparkSession.builder().appName("test1").master("local[*]") getOrCreate()
    val data: DataFrame = spark.read.csv("328061757452.csv")
    val dataArrayRow: Array[Row] = data.collect()
    val nameArray: Array[String] = dataArrayRow(0).toString().split(",")
    val dataArrayMap: ArrayBuffer[Map[String, String]] = new ArrayBuffer[Map[String, String]]()

    for(i <-1 until   dataArrayRow.size){
      val currMap: mutable.Map[String, String] = mutable.Map[String, String]()
      for(j <-0 until  dataArrayRow(i).size){
        val currDataArray: Array[String] = dataArrayRow(i).toString().split(",")
        println(currDataArray.size)
        println(j)
        currMap+=(nameArray(j)->currDataArray(j))
      }
      dataArrayMap+=currMap.toMap
    }
    println(dataArrayMap)