spark<Dataframe 直接写入hive表>

最新推荐文章于 2024-06-01 08:53:20 发布

原创最新推荐文章于 2024-06-01 08:53:20 发布 · 7.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark

spark 专栏收录该内容

16 篇文章

订阅专栏

本文介绍了一种使用Apache Spark从MySQL数据库中读取数据，并将其写入Hive表的方法。通过具体代码示例展示了如何配置连接参数、加载数据及保存至Hive的过程。

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.{DataFrame, SQLContext, SaveMode}
import org.apache.spark.{SparkConf, SparkContext}

object Main {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("datacopy")
    /*.setMaster("local")*/
    val sc = new SparkContext(conf)
    val sqlContext = new HiveContext(sc)

    val url = "jdbc:mysql://192.168.20.29:3306/vboxDB?useUnicode=true&characterEncoding=utf-8&useSSL=false"
    val reader = sqlContext.read.format("jdbc")
    var options = Map[String, String]()
    options += ("url" -> url)
    options += ("driver" -> "com.mysql.jdbc.Driver")
    options += ("user" -> "root")
    options += ("password" -> "new.1234")
    options += ("dbtable" -> "play_name")
    reader.options(options)
    var originalDF: DataFrame = reader.load()
    originalDF.show()
    //写入hive
    originalDF.write.mode(SaveMode.Overwrite).saveAsTable("vboxdb.play_name")

  }

}