用JdbcRDD将mysql中的数据并发分区写到本地文件

原创于 2018-04-11 21:26:30 发布 · 284 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#JdbcRDD

spark 专栏收录该内容

39 篇文章

订阅专栏

本文介绍了一种使用Apache Spark并发从MySQL数据库读取数据的方法，并将其转换为JDBC RDD，最后保存到本地文件系统中。通过示例代码展示了如何配置Spark应用程序、设置SQL查询及参数，并定义数据解析函数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package cn.bw.spark.day03

import java.sql.DriverManager

import org.apache.spark.rdd.JdbcRDD
import org.apache.spark.{SparkConf, SparkContext}

/*
* 将mysql中的数据并发分区读取到本地
* */
object JdbcRdd2 extends App {
  def getConnection() = {
    //加载驱动
    Class.forName("com.mysql.jdbc.Driver")
    //获取连接
    DriverManager.getConnection("jdbc:mysql://localhost:3306/bigdata?user=root&password=123456&characterEncoding=utf-8")
  }

  val conf = new SparkConf().setAppName("JdbcRdd2").setMaster("local[2]")
  val sc = new SparkContext(conf)

  val sql: String = "SELECT * FROM localtion_info WHERE id > ? AND  id > ?" //sql语句必须大写
  val jdbcRDD = new JdbcRDD(
    sc,
    getConnection,
    sql,
    10,
    14, //sql的 参数  where id > 10 and id < 14
    2, //分区数量
    rs => {
      val id = rs.getInt(1) //传ID传1 都可以
      val provice = rs.getString(2)
      val num = rs.getInt(3)
      val date = rs.getObject(4)
      (id, provice, num, date)
    }
  )
  jdbcRDD.saveAsTextFile("e:/outJDBDRDD2")
  sc.stop()
}