SparkSession的使用

最新推荐文章于 2025-04-01 21:00:00 发布

原创最新推荐文章于 2025-04-01 21:00:00 发布 · 960 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#SparkSession

spark 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了SparkSession在Spark2.0版本中作为SparkContext的替代接口的应用，详细讲解了如何使用SparkSession读取JSON文件，并展示了其在数据处理任务中的优势。

简单的来说，SparkSession是Spark2.0版本中SparkContext更好用的接口

package com.imooc.spark

import org.apache.spark.sql.SparkSession

/**
 * @author lihanwen
 * SparkSession是spark2.0之后才有的，可以用来替代SparkContext
 */
object SparkSessionApp {
  def main(args: Array[String]) {
    val path = args(0)

    val spark = SparkSession.builder().appName("SparkSessionAPP").master("local[2]").getOrCreate()

    val people = spark.read.json(path)
    //此处可以沿用SparkContext的方法：val people = spark.read.format("json").load(path)

    people.show()
  }

}