SparkSQL创建RDD：<6>读取JDBC中的数据创建DataFrame(MySql为例，两种方式)【Java，Scala纯代码】

最新推荐文章于 2024-01-09 21:52:33 发布

原创

最新推荐文章于 2024-01-09 21:52:33 发布 · 895 阅读

3 ·

CC 4.0 BY-SA版权

本文介绍了如何使用SparkSQL的Java和Scala API从JDBC数据源创建DataFrame，以MySQL数据库为例，提供了两种实现方式的详细代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Java版：

SparkConf conf = new SparkConf();
conf.setMaster("local").setAppName("mysql");
JavaSparkContext sc = new JavaSparkContext(conf);
SQLContext sqlContext = new SQLContext(sc);
/**
 * 第一种方式读取MySql数据库表，加载为DataFrame
 */
Map<String, String> options = new HashMap<String,String>();
options.put("url", "jdbc:mysql://192.168.179.4:3306/spark");
options.put("driver", "com.mysql.jdbc.Driver");
options.put("user", "root");
options.put("password", "123456");
options.put("dbtable", "person");
DataFrame person = sqlContext.read().format("jdbc").options(options).load();
person.show();
person.registerTempTable("person");
/**
 * 第二种方式读取MySql数据表加载为DataFrame
 */
DataFrameReader reader = sqlContext.read().format("jdbc");
reader.option("url", "jdbc:mysql://192.168.179.4:3306/spark");
reader.option("driver", "com.mysql.jdbc.Driver");
reader.option("user", "root");
reader.option("password", "123456");
reader.option("dbtable", "score");
DataF