spark-JDBCRDD

最新推荐文章于 2024-05-28 20:26:19 发布

原创最新推荐文章于 2024-05-28 20:26:19 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #JDBCRDD #JDBC #RDD #Hadoop

spark 专栏收录该内容

18 篇文章

订阅专栏

本文介绍了一个使用Apache Spark处理数据库数据的例子，通过定义特定的查询语句和参数范围，利用Spark Context创建JDBC RDD，并展示了如何从数据库中提取特定范围的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

注意:

1、sql 是查询语句，此查询语句必须包含两处占位符?来作为分割数据库ResulSet的参数，例如：”select title, author from books where ? < = id and id <= ?”

2、lowerBound, upperBound, numPartitions 分别为第一、第二占位符，partition的个数

def createConnection(): Connection = {
    Class.forName("com.mysql.jdbc.Driver").newInstance()
	DriverManager.getConnection("jdbc:mysql://sxjdb01:3306/oozie","root","123456")
}
def extractValues(r: ResultSet): String = {
//  (r.getInt(1), r.getString(2))
    (r.getString(1))
}

def main(args: Array[String]): Unit = {
System.setProperty("hadoop.home.dir","F:\\spark_JiQun\\hadoop-2.6.0")
val conf= new SparkConf().setAppName("the RDD").setMaster("local[2]")
val sc = new SparkContext(conf)
val data = new JdbcRDD(sc, createConnection, "SELECT WF_JOBS.`id` FROM WF_JOBS WHERE ID >= ? AND ID <= ?", lowerBound = 1, upperBound = 2, numPartitions = 2, mapRow = extractValues)
data.foreach(println)
sc.stop()
}
输出结果:1,2(理由->因为我extractValues只返回了一个)