spark + psycopg2+postgre 实现insert update 功能

最新推荐文章于 2024-11-24 13:36:10 发布

原创

最新推荐文章于 2024-11-24 13:36:10 发布 · 1.2k 阅读

2 ·

CC 4.0 BY-SA版权

该博客介绍了如何利用Spark SQL配合psycopg2库，对PostgreSQL数据库进行insert和update操作。通过创建连接，定义操作函数，从数据库中获取数据并转化为RDD，再对数据进行处理，最后将更新后的数据通过foreachPartition批量保存回数据库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark sql 主要是想了select 功能，不具备insert, update 功能，本文实现用spark + psycopg2对postgre 数据库进行insert update计算，代码部分已进行了详细的说明:

import psycopg2
import psycopg2.extras

from pyspark import SparkContext,SparkConf
from pyspark.sql import SQLContext
from pyspark.sql.types import Row, StructField, StructType, StringType, IntegerType

#opera: 对rdd中每一条记录进行操作
def opera(x):
newval = x[2]+ x[3]
return Row(id=x[0], name=x[1], val=newval)

#save_df_to_db:对rdd中的每一个partition进行处理
def save_df_to_db(records):

db_conn = psycopg2.connect(database="testdb", user="postgres", password="password", host="127.0.0.1", port="5432")
dict_cursor=db_conn.cursor()
upsert_query = "INSERT INTO t3 (id, name, val) VALUES (%(id)s, %(name)s, %(val)s) ON CONFLICT (id) DO UPDATE SET name = EXCLUDED.name,val=EXCLUDED.val;"

try:
&