Spark连接Mysql与Hive

最新推荐文章于 2025-03-31 14:30:12 发布

扎马尾的女孩

最新推荐文章于 2025-03-31 14:30:12 发布

阅读量453

点赞数

文章标签： hive spark mysql

本文链接：https://blog.youkuaiyun.com/q2842360795/article/details/121002896

版权

本文介绍了如何使用Spark连接Mysql和Hive，包括导入相关依赖，配置SparkSession，将hive-site.xml、core-site.xml和hdfs-site.xml复制到Spark配置目录，以及将mysql驱动添加到Spark的jars目录。同时，提供了读取和写入Hive表的代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark连接Mysql与hive

连接Mysql
导入依赖

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.21</version>
</dependency>

获取SparkSession对象

package com.qf.sql.day03

import java.util.Properties

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

/**
 * 演示SparkSql如何加载文件
 */
object _03TestMysql {
    def main(args: Array[String]): Unit = {
        write
        read
    }
    def write: Unit = {
        val spark = SparkSession.builder()
          .appName("testload")
          .master("local[*]")
          .getOrCreate()
        import spark.implicits._

        /*
         *   写入mysql中
         *   jdbc(url: String, table: String, properties: Properties)
         *
         *     url:用于指定连接路径
         *     table: 指定表名