spark直接往oracle写表数据,无法使用jdb将spark数据集写入数据库

在尝试使用Spark将数据集以追加模式写入Oracle数据库时遇到问题。已读取JSON文件并创建了名为abcDataset的DataFrame,但在执行写入操作时出现异常。错误信息提到'pr2$'。可能是由于配置不正确或缺少集群上的某些属性设置。目前使用的Spark版本为2,并已指定Oracle JDBC驱动。检查是否有额外的Sparksubmit参数需求或遗漏的步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我需要将spark数据集写入oracle数据库表。我使用的是带有追加模式的数据集写入方法。但分析异常,

当使用spark2 submit命令在集群上触发spark作业时。在

我已经阅读了json文件,将其展平并设置为abcdataset数据集。在

Spark版本-2

Oracle数据库

JDBC驱动程序-oracle.jdbc.driver.OracleDriver

程序设计语言Dataset abcDataset= dataframe.select(col('abc').....{and other columns};

Properties dbProperties = new Properties();

InputStream is = SparkReader.class.getClassLoader().getResourceAsStream("dbProperties.yaml");

dbProperties.load(is);

String jdbcUrl = dbProperties.getProperty("jdbcUrl");

dbProperties.put("driver","oracle.jdbc.driver.OracleDriver");

String where = "USER123.PERSON";

abcDataset.write().format("org.apache.spark.sql.execution.datasources.jdbc.DefaultSource").option("driver", "oracle.jdbc.driver.OracleDriver").mode("append").jdbc(jdbcUrl, where, dbProperties);

应为-将写入数据库,但出现以下错误-

^{pr2}$

当我在集群上运行时,我们是否需要在spark submit命令中设置任何附加属性,或者缺少任何步骤?在

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值