Spark2.X之scala JDBCDataSource

最新推荐文章于 2024-04-26 09:51:23 发布

原创最新推荐文章于 2024-04-26 09:51:23 发布 · 456 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Spark 2.0 JDBC案例

Spark2.0 专栏收录该内容

4 篇文章

订阅专栏

本文介绍如何使用 Apache Spark SQL 从 MySQL 数据库读取学生基本信息和成绩数据，并通过 join 和 filter 操作筛选出成绩大于等于80分的学生，最终将这些学生的信息存入新的表中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

/**

1.获取MySQL数据库中学生基本信息表与学生成绩表

2.通过join操作与filter操作将学生分数大于等于80分的学生存入好学生的表中。

**/

import org.apache.spark.sql.SparkSession
import org.apache.commons.collections.map.HashedMap
import java.util.Properties
import org.apache.spark.sql.Row
import org.apache.spark.sql.types.{StructType,StructField,StringType};
import org.apache.spark.sql.types.IntegerType
/**
* @author Administrator
*/
object JDBCDataSource {

def main(args: Array[String]): Unit = {

val spark = SparkSession.
builder().
appName("JDBCDataSource").
master("local").
getOrCreate()
val connectionProperties = new Properties()
connectionProperties.put("user", "root")
connectionProperties.put("password", "root")
val student_infos = spark.read.jdbc("jdbc:mysql://20.0.20.203/testdb", "student_infos", connectionProperties)
val student_scores = spark.read.jdbc("jdbc:mysql://20.0.20.203/testdb", "student_scores", connectionProperties)
val studentsRDD = student_infos.join(student_scores,"name").filter("score >=80").rdd
val structType = StructType(Array(
StructField("name", StringType, true),
StructField("score", IntegerType, true),
StructField("age", IntegerType, true)))
val studentsDF = spark.createDataFrame(studentsRDD, structType)
studentsDF.write.jdbc("jdbc:mysql://20.0.20.203/testdb", "good_student_infos", connectionProperties)

spark.close()

}
}