pyspark 通过 JDBC 读写 mysql / postgresql

参考链接

• https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html
• https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.DataFrameWriter.jdbc.html

准备工作

• 下载 mysql / postgresql 驱动。
• 将 xxxconnector.jar 放到 spark/jars 下面（或者在代码中指定 jar 文件路径）

代码

• 初始化 spark 资源

from pyspark import SparkConf
from pyspark.sql import SparkSession

conf = SparkConf