我们使用IDEA开发了一个简单的Demo,用于演示Spark 访问数据库的一些基本操作。本Demo使用数据库包括了 MySQL 和 openGauss 两种。
前提条件:
1、Spark 环境安装
2、数据库安装:MYSQL,OpenGauss
新进SpringBoot Maven项目 Spark-Demo ,pom 关键信息 Spark相关组件,MySQL驱动,openGauss访问驱使用postgresql驱动,本人使用的是本地添加postgresql.jar包方式。
本项目提供了使用Spark 操作MYSQL,OpenGauss数据库的使用用例包括:
表查询,新建表,表插入数据。数据源连接需自行配置。
对于openGauss数据库访问操作,需将项目下lib文件夹中的postgresql.jar 添加到项目类库中。
在File -> Project Structure -> Libraries 中手动添加lib文件夹中postgresql.jar 。
具体项目代码:SparkDemo: Spark 访问数据库操作Demo 请自行下载。
参考信息:Spark JDBC To Other Databases
POM信息如下:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/P

本文介绍了一个使用Spark进行数据库访问的Demo,涵盖了MySQL和OpenGauss。项目包含表查询、新建表和数据插入操作。为访问OpenGauss,需添加postgresql.jar到项目类库,并在IDEA中配置。提供了详细的Spark数据库操作实例。
最低0.47元/天 解锁文章
1万+

被折叠的 条评论
为什么被折叠?



