使用sparksql读取mysql中的数据

本文介绍了如何使用SparkSQL连接MySQL数据库并读取数据。首先展示了读取整个表的代码,只需指定表名;接着讲解了如何执行自定义SQL查询来获取数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.使用sparksql读取MySQL中的数据,读取整张表的时候,代码如下

val conf=new SparkConf().setAppName("SparkSql running......................").setMaster("local")
val sc=new SparkContext(conf)
val sqlContext=new SQLContext(sc)//10.0.190.102

var jdbcDf=sqlContext.read.format("jdbc").options(Map("url"->"jdbc:mysql://10.10.190.102:3306/db",
            "driver" -> "com.mysql.jdbc.Driver",
            "dbtable"->"temp",
            "user"->"root","password"->"root")).load()

其中,dbtable后面的temp为表明,那么读取的就是整张表的数据,

2、使用sparksql读取MySQL的数据,但是sql为我们自定义的,代码如下


var jdbcDf=sqlContext.read.format("jdbc").options(Map("url"->"jdbc:mysql://10.10.190.102:3306/db",
            "driver" -> "com.mysql.jdbc.Driver",
            "dbtable"->"(select * from temp) as aaa",
            "user"->"root","password"->"root")).load()
只要用你自定义的sql替换
select * from temp
即可,注意,括号必须要有, 后面的as aaa就是起一个别名,别名可以随便起

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值