Spark SQL Dataframe 写入oracle

Spark操作Oracle数据库示例

最新推荐文章于 2022-07-21 14:32:19 发布

转载最新推荐文章于 2022-07-21 14:32:19 发布 · 1.7k 阅读

2 ·

CC 4.0 BY-SA版权

原文链接：https://www.jianshu.com/p/94a76accb815

文章标签：

#oracle #spark

笔记专栏收录该内容

30 篇文章

订阅专栏

本文介绍使用Spark连接并写入Oracle数据库的方法，通过定义URL、用户名、密码和驱动等参数，创建属性集，并利用SQLContext将RDD转换为DataFrame，最终以追加模式将数据写入指定的Oracle数据库表中。

可以看此处文章https://xvlvzhu.github.io/2018/01/07/Spark%E6%93%8D%E4%BD%9C%E6%95%B0%E6%8D%AE%E5%BA%93%E7%A4%BA%E4%BE%8B/
以下是写入Oracle数据库

 val url = "jdbc:oracle:thin:@//ip:1521/数据库名称"
  val user = "ods"
  val password = "oracle"
  val driver = "oracle.jdbc.driver.OracleDriver"
  val dbmap = Map("url" -> url, "user" -> user, "password" -> password, "driver" -> driver)
  val properties = new Properties()
  properties.setProperty("url", url)
  properties.setProperty("user", user)
  properties.setProperty("password", password)
  properties.setProperty("driver", driver)

  def saveSummary(rowrdd: RDD[Row], sqlContext: SQLContext): Unit = {
    //DateTypes.createStructField()
   val schema= StructType(List(StructField("mon_th",IntegerType, true)
      , StructField("current_date", DateType, true)
      , StructField("amount", DoubleType, true)
      , StructField("account_code", StringType, true)
      , StructField("summary_code", StringType, true)
      , StructField("project", StringType, true)
    ))
    val dataFrame=sqlContext.createDataFrame(rowrdd,schema)
    dataFrame.show()
    dataFrame.write.mode(SaveMode.Append).jdbc(url,"表名",properties)
  }