记一次解决spark-submit写入oracle报错问题

最新推荐文章于 2023-08-11 22:30:00 发布

珉辰

最新推荐文章于 2023-08-11 22:30:00 发布

阅读量921

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark oracle

本文链接：https://blog.youkuaiyun.com/Bao_S_J/article/details/99822075

spark 专栏收录该内容

2 篇文章

订阅专栏

本文分享了在Spark集群环境中，遇到数据无法正确写入Oracle数据库的问题及解决过程。问题源于Oracle驱动版本冲突或缺失jar包，通过调整pom文件中oracle连接包依赖设置为provided，并重新打包提交，最终成功解决了数据写入问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先上代码：

//结果数据临时写入ods
    result.write.mode("append")
      .format("jdbc")
      .option("url", KlaAppEnv.ODSURL)
      .option("dbtable", KlaAppEnv.ODSDB)
      .option("user", KlaAppEnv.ODSUSER)
      .option("password", KlaAppEnv.ODSPASSWORD)
      .save()

spark将处理好的数据写入oracle，本地运行时完全没问题，数据正常。但是部署到集群，发现数据未写入，登录yarn监控界面查看任务执行情况：

任务状态为finished，但任务返回结果却是 failed，打开最下面任意一行的logs，查看报错详情：

错误原因：

根据报错信息描述，应该是oracle的驱动版本造成了冲突或者缺少相应jar包，一定要注意这个问题，否则会发现莫名其妙报错。

解决问题：

修改 pom 文件，将oracle连接包依赖修改为 provided（由于 Spark 服务器上有这些 jar 所以打包的时候不用将本地的打进去也能运行），再次打包提交，运行通过。

<!--oracle连接包-->
<dependency>
   <groupId>com.oracle</groupId>
   <artifactId>ojdbc6</artifactId>
   <version>11.2.0</version>
   <scope>provided</scope>
</dependency>