Spark学习(SparkSQL连接oralce,MySQL)

最新推荐文章于 2023-04-10 17:14:30 发布

原创最新推荐文章于 2023-04-10 17:14:30 发布 · 6.6k 阅读

0 ·

CC 4.0 BY-SA版权

4、学习笔记专栏收录该内容

251 篇文章

订阅专栏

本文介绍如何使用Spark SQL通过JDBC连接器读取Oracle和MySQL数据库中的数据，并进行简单的数据处理。包括配置SparkConf、创建SparkContext和SQLContext、加载数据库表并注册临时表等步骤。

Oracle 示例：

Class.forName("oracle.jdbc.driver.OracleDriver")
var theConf = new SparkConf().setAppName("testRDDMethod").setMaster("local")
var theSC = new SparkContext(theConf)
var theSC2 = new SQLContext(theSC)
var theJdbcDF = theSC2.load("jdbc",Map("url"->"jdbc:oracle:thin:用户/密码@//ip地址:端口/实例名",
  "dbtable" -> "(select * from tab) a","driver"->"oracle.jdbc.driver.OracleDriver"))
theJdbcDF.registerTempTable("myuser")
var theDT = theSC2.sql("select * from myuser")
theDT.registerTempTable("tempsum")

2）MySQL示例：

 Class.forName("com.mysql.jdbc.Driver")
var theConf = new SparkConf().setAppName("testRDDMethod").setMaster("local")
var theSC = new SparkContext(theConf)
var theSC2 = new SQLContext(theSC)
var theJdbcDF = theSC2.load("jdbc",Map("url"->"jdbc:mysql://ip地址:端口/mysql?user=XXXX&password=XXXX","dbtable" -> "要操作的表"))
theJdbcDF.registerTempTable("myuser")
var theDT = theSC2.sql("select * from myuser where b>2")
theDT.registerTempTable("tempsum")