Spark的local模式怎么读写mysql

SunnyRivers

已于 2023-07-11 09:33:55 修改

阅读量590

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Spark最佳实战与性能优化文章标签： spark mysql java python local

于 2023-05-19 17:21:43 首次发布

本文链接：https://blog.youkuaiyun.com/Android_xue/article/details/130770541

38 篇文章 ¥9.90 ¥99.00

订阅专栏

本文介绍了如何在Spark的local模式下，使用Scala和Python读写MySQL数据库。通过配置Maven依赖或添加JDBC驱动jar包，设置相关连接参数，可以实现数据的读取和写入。讲解了包括url、hostname、port等关键选项，并对比了不同运行模式的特点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

实习生：我只是想用pyspark用local模式本地测试一下读写mysql数据库，咋一直报找不到驱动的错啊？
我：你代码中引入驱动jar包了吗？
实习生： …呃…，可是我用scala或者java用local模式也没有引入驱动jar包啊
我：你用scala如何用local模式读写到mysql数据的？

    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>8.0.13</version>
    </dependency>

import org.apache.log4j

了解本专栏