SparkSQL将计算数据写入Mysql中

最新推荐文章于 2025-05-03 19:58:01 发布

那记忆微凉

最新推荐文章于 2025-05-03 19:58:01 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： saprk

本文链接：https://blog.youkuaiyun.com/BigData_Mining/article/details/102485353

Spark 专栏收录该内容

33 篇文章

订阅专栏

本文详细介绍使用SparkSQL将数据写入MySQL数据库的过程。通过创建并行化RDD，定义Schema，映射Row，并最终利用JDBC连接将DataFrame数据追加到MySQL数据库中。示例代码展示了如何配置SparkConf，创建SparkContext和SQLContext，以及如何设置数据库连接属性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码如下：

package com.itunic.sql

import java.util.Properties
import org.apache.spark.sql.{Row, SQLContext}
import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}
import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by c on 2017/1/3.
  *  Spark SQL
  *  将数据写入到MySQL中
  * by me:
  * 我本沉默是关注互联网以及分享IT相关工作经验的博客，
  * 主要涵盖了操作系统运维、计算机编程、项目开发以及系统架构等经验。
  * 博客宗旨：把最实用的经验，分享给最需要的你，
  * 希望每一位来访的朋友都能有所收获！
  */
object JdbcRDD {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("JdbcRDD").setMaster("local")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
 //通过并行化创建RDD
    val personRDD = sc.parallelize(Array("1 tom 5", "2 jerry 3", "3 kitty 6")).map(_.split(" "))
 //通过StructType直接指定每个字段的schema
    val schema = StructType(
      List(
        StructField("id", IntegerType, true),
        StructField("name", StringType, true),
        StructField("age", IntegerType, true)
      )
    )
 //将RDD映射到rowRDD
    val rowRDD = personRDD.map(p => Row(p(0).toInt, p(1).trim, p(2).toInt))
 //将schema信息应用到rowRDD上
    val personDataFrame = sqlContext.createDataFrame(rowRDD, schema)
 //创建Properties存储数据库相关属性
    val prop = new Properties()
    prop.put("user", "root")
    prop.put("password", "root")
 //将数据追加到数据库
    personDataFrame.write.mode("append").jdbc("jdbc:mysql://192.168.155.1:3306/test", "test.t_person", prop)
 //停止SparkContext
    sc.stop()
  }
}

打包并发布到spark集群

$SPARK_HOME/bin/spark-submit \
--class com.itunic.sql.JdbcRDD \
--master spark://ResourceManagerServer1:7077 \
--jars /usr/local/spark-1.5.2-bin-hadoop2.6/mysql-connector-java-5.1.35-bin.jar \
--driver-class-path /usr/local/spark-1.5.2-bin-hadoop2.6/mysql-connector-java-5.1.35-bin.jar \
/root/spark-mvn-1.0-SNAPSHOT.jar