sparkSQL 从MySQL数据源读取数据【demo 程序篇 ReadDataFromMysql】

Spark SQL读取MySQL数据

最新推荐文章于 2023-12-13 16:37:21 发布

原创最新推荐文章于 2023-12-13 16:37:21 发布 · 674 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sparksql #mysql

hadoop 同时被 2 个专栏收录

47 篇文章

订阅专栏

大数据技术学习

31 篇文章

订阅专栏

本文介绍如何使用Apache Spark SQL从MySQL数据库中读取数据，包括配置SparkConf、创建SQLContext、建立数据库连接、加载数据并转换为DataFrame，以及将DataFrame注册为临时表进行SQL查询。

demo 程序篇

package cn.demo.sql

import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}

object ReadDataFromMysql {
  def main(args: Array[String]): Unit = {

    // 设置程序入口参数
    val conf = new SparkConf().setAppName("DataFromMysql").setMaster("local")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    // 创建数据库链接，加载数据，默认转为df
    val jdbcDF = sqlContext.read.format("jdbc")
      .options(Map("url" -> "jdbc:mysql://192.168.2.181:3306/urldb",
        "driver" -> "com.mysql.jdbc.Driver",
        "dbtable" -> "url_rule",
        "user" -> "root",
        "password" -> "123")).load()

    // df 注册为表，方便sql操作
    jdbcDF.registerTempTable("person")
    sqlContext.sql("select * from person").show()
    sc.stop()
  }
}