我需要将spark数据集写入oracle数据库表。我使用的是带有追加模式的数据集写入方法。但分析异常,
当使用spark2 submit命令在集群上触发spark作业时。在
我已经阅读了json文件,将其展平并设置为abcdataset数据集。在
Spark版本-2
Oracle数据库
JDBC驱动程序-oracle.jdbc.driver.OracleDriver
程序设计语言Dataset abcDataset= dataframe.select(col('abc').....{and other columns};
Properties dbProperties = new Properties();
InputStream is = SparkReader.class.getClassLoader().getResourceAsStream("dbProperties.yaml");
dbProperties.load(is);
String jdbcUrl = dbProperties.getProperty("jdbcUrl");
dbProperties.put("driver","oracle.jdbc.driver.OracleDriver");
String where = "USER123.PERSON";
abcDataset.write().format("org.apache.spark.sql.execution.datasources.jdbc.DefaultSource").option("driver", "oracle.jdbc.driver.OracleDriver").mode("append").jdbc(jdbcUrl, where, dbProperties);
应为-将写入数据库,但出现以下错误-
^{pr2}$
当我在集群上运行时,我们是否需要在spark submit命令中设置任何附加属性,或者缺少任何步骤?在