spark读取、保存.csv文件

最新推荐文章于 2024-09-05 17:10:06 发布

原创最新推荐文章于 2024-09-05 17:10:06 发布 · 2.5w 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#scala

scala 专栏收录该内容

8 篇文章

订阅专栏

本文介绍如何使用Spark读取和保存CSV文件，包括配置SparkConf、创建SparkContext和SQLContext，解析CSV文件头和推断数据类型，以及解决乱码问题的方法。同时，展示了如何将RDD转换为DataFrame并保存为CSV。

用spark实现读取csv文件

val conf = new SparkConf()
      .setAppName("用户标签")
      .setMaster("local[*]")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    val arr = ArrayBuffer[(Int,String,String,String,String,String,String,Double)]()
    val arr2 = ArrayBuffer[(String,Double)]()
    
    val data: DataFrame = sqlContext.read.format("com.databricks.spark.csv")
      .option("header", "true") //在csv第一行有属性"true"，没有就是"false"
      .option("inferSchema", true.toString) //这是自动推断属性列的数据类型
      .load("C:\\Users\\Desktop\\test.csv")

注意：如果出现乱码，可能是用excel打开，导致编码错误，用notepad++打开转化成utf8编码就可以了。

用spark实现保存为csv文件
rdd处理方式

import sqlC.implicits._

    val mapDF: DataFrame = hashString.toDF()

    mapDF.createOrReplaceTempView("map")

    val resultDF: DataFrame = sqlC.sql("select * from map")

    resultDF.write.mode("Append").csv("C:\\Users\\Desktop\\123")