Dataset操作

Omar小胖

于 2022-04-28 22:25:13 发布

阅读量173

点赞数

文章标签： spark big data scala

本文链接：https://blog.youkuaiyun.com/qq_33233239/article/details/124485188

版权

该博客演示了如何使用SparkSession创建Spark应用，并解析CSV文件。通过`spark.read`方法读取带有头部的CSV文件，推断数据模式，然后将DataFrame转换为Dataset。博客还展示了Dataset的map操作以及SQL查询。案例中涉及了`Sales` case class，表示销售记录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >


/**
 * Dataset操作
 */
object DatasetApp {

  def main(args: Array[String]) {
    val spark = SparkSession.builder().appName("DatasetApp")
      .master("local[2]").getOrCreate()

    //注意：需要导入隐式转换
    import spark.implicits._

    val path = "file:///Users/rocky/data/sales.csv"

    //spark如何解析csv文件？
    val df = spark.read.option("header","true").option("inferSchema","true").csv(path)
    df.show

    val ds = df.as[Sales]
    ds.map(line => line.itemId).show


    spark.sql("seletc name from person").show

    //df.seletc("name")
    df.select("nname")

    ds.map(line => line.itemId)

    spark.stop()
  }

  case class Sales(transactionId:Int,customerId:Int,itemId:Int,amountPaid:Double)
}