scala实战之spark读取mysql数据表并存放到mysql库中编程实例

最新推荐文章于 2025-06-16 23:27:23 发布

原创

最新推荐文章于 2025-06-16 23:27:23 发布 · 1.8w 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#scala #spark #jdbc #sparksql #mysql

本文介绍了如何使用Scala和Spark 1.5.2从MySQL数据库读取数据到DataFrame，并将DataFrame数据写回MySQL。在不需安装Spark的环境中，仅需MySQL服务器和Scala编程环境即可。示例代码展示了读取和写入过程，强调了该方法在数据分析中的实用性，特别是对于从关系型数据库获取配置表的情况。此外，文章提到原始Spark写入MySQL的限制，并预告了后续将分享如何自定义写入方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天简单讲解一下应用spark1.5.2相关读取mysql数据到DataFrame的接口以及将DF数据存放到mysql中接口实现实例

同样我们的编程开发环境是不需要安装spark的，但是需要一台安装了mysql的服务器，我这里直接在本机安装了一个mysql，还有就是scala的编程环境。

注意本次使用的spark版本是1.5.2，相关引用的包请参考下图：

先看代码吧

package JDBC_MySql

import java.util.Properties

import org.apache.spark.sql.SaveMode
import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by zhoubh on 2016/7/20.
  */
object mysqlDB {

  case class zbh_test(day_id:String, prvnce_id:String,pv_cnts:Int)

  def main(args: Array[String]) {


    val conf = new SparkConf().setAppName("mysql").setMaster("local[4]")
    val sc = new SparkContext(conf)
    //sc.addJar("D:\\workspace\\sparkApp\\lib\\mysql-connector-java-5.0.8-bin.jar")
    val sqlContext = new org.apache.spark.sql.SQLContext(sc)