sparkSQL 访问mysql数据

1、如果使用spark-shell 操作,需要修改spark-defaults.conf 配置
spark.executor.extraClassPath=/opt/software/hive/lib/mysql-connector-java-5.1.45-bin.jar
spark.driver.extraClassPath=/opt/software/hive/lib/mysql-connector-java-5.1.45-bin.jar
package com.hihi.learn.sparkSql
import java.util.Properties
import org.apache.spark.sql.{SaveMode, SparkSession}

object MySqlDemo {

  val url = "jdbc:mysql://hadoop001:3306"
  val table = "soctt.dept"
  val dBuser = "root"
  val dBpwd = "123456"
  val prop = new Properties()
  prop.setProperty("user", "root")
  prop.setProperty("password", "123456")
  case class DeptRecord(deptno: Int, dname: String, loc: String)

  def main(args: Array[String]): Unit = {

    val spark = SparkSession
      .builder()
      .appName("Mysql Demo.")
      .master("local")
      .getOrCreate()

    readFromMysql(spark)
    writeToMysql(spark)
    readFromMysql(spark)
  }

  // 从mysql读取数据
  def readFromMysql(spark: SparkSession): Unit = {
    val jdbcDF  = spark.read.format("jdbc")
      .option("url", url)
      .option("dbtable", table)
      .option("user", dBuser)
      .option("password", dBpwd).load()

    jdbcDF.show()
  }

  // 向mysql写数据
  def writeToMysql(spark: SparkSession): Unit = {
    val arr = Array(
      DeptRecord(50, "AA", "aa"),
      DeptRecord(60, "BB", "bb")
    )
    val jdbcDF = spark.createDataFrame(arr)
    jdbcDF.write.mode(SaveMode.Append).jdbc(url, table, prop)
  }
}



### 如何在虚拟机中配置 Spark SQL 连接 MySQL 数据库 #### 准备工作 为了使 Spark SQL 成功连接到 MySQL,在虚拟机环境中需确保已正确安装并运行 MySQL 和 Spark。对于 MySQL 的安装,可以参照详细的 Linux 安装指南[^4]。 #### 启动 MySQL 并设置权限 启动 MySQL 服务,并进入 MySQL 控制台来创建必要的数据库和用户权限: ```bash service mysql start sudo mysql -u root -p ``` 接着,创建名为 `spark` 的数据库,并赋予特定用户的访问权限以防止出现 `Access denied for user 'root'@...` 错误[^1]。 #### 下载 JDBC 驱动 下载适用于 MySQL 版本的 JDBC 驱动程序(例如 `mysql-connector-java-8.0.x.jar`),并将此 JAR 文件放置于 Spark 的 `$SPARK_HOME/jars/` 目录下以便加载驱动。 #### 使用 Scala 编写 Spark Shell 命令 在 spark-shell 中可以通过如下命令尝试建立与 MySQL 的连接: ```scala val jdbcDF = spark.read.format("jdbc"). option("url", "jdbc:mysql://<host>:3306/spark?useSSL=false&serverTimezone=UTC"). option("driver", "com.mysql.cj.jdbc.Driver"). option("dbtable", "<your_table>"). option("user", "<username>"). // 替换为实际用户名 option("password", "<password>"). // 替换为实际密码 load() ``` 注意 URL 参数中的 `useSSL=false` 及 `serverTimezone=UTC` 是为了避免 SSL 握手失败和其他时区相关的问题[^3]。 #### Java 实现示例 如果偏好使用 Java 来实现,则可参考以下代码片段初始化 SparkSession 并读取数据集: ```java SparkSession sparkSession = SparkSession.builder(). master("local"). appName("MySQL to DataFrame using JDBC"). getOrCreate(); Dataset<Row> df = sparkSession.read().format("jdbc"). option("url", "jdbc:mysql://<host>:3306/<database>?useSSL=false&serverTimezone=UTC"). option("dbtable", "<your_table>"). option("user", "<username>"). option("password", "<password>"). load(); df.show(); ``` 上述方法同样适用于 IDEA 开发环境下的项目开发场景。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值