大数据学习之sparksql-JDBC到其他数据库

最新推荐文章于 2024-09-18 14:52:37 发布

转载最新推荐文章于 2024-09-18 14:52:37 发布 · 220 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/lihuanghao/p/9429923.html

文章标签：

#数据库 #大数据

本文详细介绍了如何使用 Apache Spark 通过 JDBC 连接 PostgreSQL 数据库，进行数据读取和写入操作。包括指定 DataFrame 列数据类型、保存数据到 JDBC 源、以及在写入时指定创建表列数据类型的方法。

jdbcDF = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:postgresql:dbserver") \
    .option("dbtable", "schema.tablename") \
    .option("user", "username") \
    .option("password", "password") \
    .load()

jdbcDF2 = spark.read \
    .jdbc("jdbc:postgresql:dbserver", "schema.tablename",
          properties={"user": "username", "password": "password"})

# Specifying dataframe column data types on read
jdbcDF3 = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:postgresql:dbserver") \
    .option("dbtable", "schema.tablename") \
    .option("user", "username") \
    .option("password", "password") \
    .option("customSchema", "id DECIMAL(38, 0), name STRING") \
    .load()

# Saving data to a JDBC source
jdbcDF.write \
    .format("jdbc") \
    .option("url", "jdbc:postgresql:dbserver") \
    .option("dbtable", "schema.tablename") \
    .option("user", "username") \
    .option("password", "password") \
    .save()

jdbcDF2.write \
    .jdbc("jdbc:postgresql:dbserver", "schema.tablename",
          properties={"user": "username", "password": "password"})

# Specifying create table column data types on write
jdbcDF.write \
    .option("createTableColumnTypes", "name CHAR(64), comments VARCHAR(1024)") \
    .jdbc("jdbc:postgresql:dbserver", "schema.tablename",
          properties={"user": "username", "password": "password"})