spark读取Jdbc数据

原创

已于 2022-11-16 14:18:14 修改 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #java #大数据

于 2022-11-16 14:15:09 首次发布

该博客展示了如何使用 Scala 和 Spark 读取 MySQL 数据。通过 Maven 项目配置，引入了 Scala 和 Spark SQL 相关依赖，并创建了一个 JdbcRDD 示例，用于从 MySQL 数据库加载数据。代码中定义了数据库连接、SQL 查询、结果映射函数以及分区参数，实现了 Spark 对 MySQL 数据的高效读取。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>test</artifactId>
        <groupId>org.example</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>spark</artifactId>

    <properties>
        <!--        其实这就是变量引用       -->
        <spark.version>2.3.3</spark.version>
        <scala.version>2.11.12</scala.version>
        <spark.scala>2.11</spark.scala>
    </properties>


    <dependencies>

        <!-- scala语言 -->
        <dependency>
            <groupId>org.scala-lan