sparkSQL之读取不同数据源的数据

最新推荐文章于 2024-06-08 00:38:24 发布

原创最新推荐文章于 2024-06-08 00:38:24 发布 · 4.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sparkSQL之读取不同数据源的数据

大数据专栏收录该内容

93 篇文章

订阅专栏

本文详细介绍使用Spark读取多种数据源的过程，包括JSON、CSV、Parquet文件及数据库连接，展示不同数据源的处理方式，适用于大数据开发场景。

object DataSourceTest2 {
  //读取不同的数据源
  def main(args: Array[String]): Unit = {

    val spark: SparkSession = SparkSession.builder().master("local[*]").appName("w").getOrCreate()
    val sc: SparkContext = spark.sparkContext
    sc.setLogLevel("WARN")

    spark.read.json("E:\\ideal_workspace\\spark\\day01\\output\\json").show
    spark.read.csv("E:\\ideal_workspace\\spark\\day01\\output\\csv").toDF("id","name","AGE").show
    spark.read.parquet("E:\\ideal_workspace\\spark\\day01\\output\\parquet").show()

    val prop = new Properties()
    prop.setProperty("user","root")
    prop.setProperty("passqord","root")
    //spark.read.jdbc(" ","person",prop)

    spark.stop()
    sc.stop()
    
  }


}