SparkSQL之读取数据

最新推荐文章于 2025-05-30 09:08:34 发布

原创最新推荐文章于 2025-05-30 09:08:34 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

Spark生态系统专栏收录该内容

24 篇文章

订阅专栏

本文介绍如何利用Scala和Spark SQL从HDFS中读取JSON文件及通过JDBC连接MySQL数据库来获取数据的方法。展示了两种常用的数据源读取方式，并提供了具体的代码实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

def main(args: Array[String]): Unit = {
  val conf = new SparkConf().setMaster("local").setAppName("ScalaSparkSQL")
  val sc = new SparkContext(conf)
  val sqlContext = new SQLContext(sc)

  //1.读取文件格式为json

  val personDF = sqlContext.read.format("json").load("hdfs://master:9000/input/spark/sql/people.json")
  val personDF = sqlContext.read.json("hdfs://master:9000/input/spark/sql/people.json")
  personDF.show()

  //2.读取文件格式为jdbc
  val url = "jdbc:mysql://localhost:3306/bigdata_db"
  val table = "person"
  val partitionCol = "pid"
  val lowerBound = 2
  val upperBound = 4
  val numPartitions = 2
  val properties = new Properties()
  properties.setProperty("user", "root")
  properties.setProperty("password", "root")
  val jdbcDF = sqlContext.read.jdbc(url, table, partitionCol, lowerBound, upperBound, numPartitions, properties)
  jdbcDF.show()
  sc.stop()
}