1.使用sparksql读取MySQL中的数据,读取整张表的时候,代码如下
val conf=new SparkConf().setAppName("SparkSql running......................").setMaster("local") val sc=new SparkContext(conf) val sqlContext=new SQLContext(sc)//10.0.190.102 var jdbcDf=sqlContext.read.format("jdbc").options(Map("url"->"jdbc:mysql://10.10.190.102:3306/db", "driver" -> "com.mysql.jdbc.Driver", "dbtable"->"temp", "user"->"root","password"->"root")).load()
其中,dbtable后面的temp为表明,那么读取的就是整张表的数据,
2、使用sparksql读取MySQL的数据,但是sql为我们自定义的,代码如下
var jdbcDf=sqlContext.read.format("jdbc").options(Map("url"->"jdbc:mysql://10.10.190.102:3306/db", "driver" -> "com.mysql.jdbc.Driver", "dbtable"->"(select * from temp) as aaa", "user"->"root","password"->"root")).load()只要用你自定义的sql替换
select * from temp
即可,注意,括号必须要有, 后面的as aaa就是起一个别名,别名可以随便起