pyspark读取Oracle数据库并根据字段进行分区

关注

VIP免费原创最新推荐文章于 2026-09-07 10:31:23 发布 2.4k 阅读 AI 写同款· GEO 优化 ›

Oracle数据库和Informatica ETL逻辑及视图、用户定义函数和存储过程迁移到AWS的Hive数据仓库基本流程首先，我们需要注册AWS帐号，并启用EC2（Elastic Cloud Computing，高性能云计算）、EMR（Elastic Map-Reduce，高性能大数据计算）、Redshift/Snowflake数据仓库和S3（Simple Storage Service，简单存储服务）、DevOps（用于Github持续集成）和Github Enterprise这些服务。其次，我们需要梳理清楚Oracle数据库中Informatica Designer中的数据源、目标表和数据转换映射对象中的表、视图以及用阅读详情

前一篇文章pyspark连接oracle中详细讲述了初步连接Oracle的方法，这种连接方式每次只使用一个RDD分区，即numPartitions默认为１．这种方式当表特别大的时候，很可能出现OOM．

pyspark提供两种对数据库进行分区读取的方式

方法一：指定数据库字段的范围

之前的方式是：

empDF = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:oracle:thin:@//hostname:portnumber/SID") \
    .option("dbtable", "hr.emp") \
    .option("user", "db_user_name") \
    .option("password", "password") \
    .option("driver", "oracle.jdbc.driver.OracleDriver") \
    .load()

现在需要增加partitionColumn, lowerBound, upperBound, numPartitions这几个属性值

empDF = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:oracle:thin:@//hostname:portnumber/SID") \
    .option("dbtable", "hr.emp") \
    .option("user", "db_user_name") \
    .option("password", "password") \
    .option("driver", "oracle.jdbc.drive