spark-JDBCRDD

本文介绍了一个使用Apache Spark处理数据库数据的例子,通过定义特定的查询语句和参数范围,利用Spark Context创建JDBC RDD,并展示了如何从数据库中提取特定范围的数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

注意:

1、sql 是查询语句,此查询语句必须包含两处占位符?来作为分割数据库ResulSet的参数,例如:”select title, author from books where ? < = id and id <= ?”

2、lowerBound, upperBound, numPartitions 分别为第一、第二占位符,partition的个数

def createConnection(): Connection = {
    Class.forName("com.mysql.jdbc.Driver").newInstance()
	DriverManager.getConnection("jdbc:mysql://sxjdb01:3306/oozie","root","123456")
}
def extractValues(r: ResultSet): String = {
//  (r.getInt(1), r.getString(2))
    (r.getString(1))
}

def main(args: Array[String]): Unit = {
System.setProperty("hadoop.home.dir","F:\\spark_JiQun\\hadoop-2.6.0")
val conf= new SparkConf().setAppName("the RDD").setMaster("local[2]")
val sc = new SparkContext(conf)
val data = new JdbcRDD(sc, createConnection, "SELECT WF_JOBS.`id` FROM WF_JOBS WHERE ID >= ? AND ID <= ?", lowerBound = 1, upperBound = 2, numPartitions = 2, mapRow = extractValues)
data.foreach(println)
sc.stop()
}
输出结果:1,2(理由->因为我extractValues只返回了一个)

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值