Spark连接MySQL数据库_spark连接mysql数据库插件-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_44486439/article/details/113867359

本文介绍了如何在Java环境下，利用Spark 3.0和Scala 2.12连接并读取MySQL数据库的数据。通过Maven配置引入相关依赖，包括mysql-connector-java和Spark SQL，然后在代码中设置数据库连接属性，成功展示了一个简单的数据查询和显示例子。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark连接MySQL数据库

环境

java 12.0.1
Spark version 3.0.0-preview2
Scala 2.12.10
Apache Maven 3.6.3
MySQL Server version: 5.7.18-20170830-log 20170531
mysql-connector-java-8.0.21.jar
IntelliJ IDEA 2020.2.3 (Ultimate Edition)

Maven配置文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.demo.spark.sql</groupId>
    <artifactId>spark-sql</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.21</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>3.0.0</version>
        </dependency>


    </dependencies>
</project>

实现代码

[hostname] : 主机名（本地为localhost）
[port] : 端口号（默认端口号为3306）
[database] : 数据库名
[username] : 用户名
[password] : 密码
[table] : 表名

package com.demo.spark.sql

import java.util.Properties

import org.apache.spark.sql.SparkSession

object MySQL {
  def main(args: Array[String]): Unit = {
    val sparkSession = SparkSession.builder().master("local[*]").appName("MySQL").getOrCreate();


    val properties = new Properties();
    properties.setProperty("user", "[username]");
    properties.setProperty("password", "[password]");

    val users = sparkSession.read.jdbc("jdbc:mysql://[hostname]:[port]/[database]", "[table]", properties);
    users.show();
  }
}

测试结果

+---+--------+--------+
| id|username|password|
+---+--------+--------+
|  1|    Tony|  123456|
|  2|     Tom|  123456|
+---+--------+--------+

最后

由于博主水平有限，不免有疏漏之处，欢迎读者随时批评指正，以免造成不必要的误解！