spark 1.3 发布了

Spark 1.3 新特性

最新推荐文章于 2025-09-06 21:58:22 发布

weixin_33882443

最新推荐文章于 2025-09-06 21:58:22 发布

阅读量79

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 json 数据库

原文链接：http://www.cnblogs.com/magj2006/p/4337366.html

介绍了Spark 1.3版本的重要更新，包括新增的DataFrame API及其使用示例，这使得处理结构化数据更为便捷。此外，Spark SQL也升级为稳定版本，并新增了JDBC支持，便于与传统数据库系统的交互。

　　悄悄地，spark 还是像往常一样，发布了1.3版本，从release notes可以看出，这一版本比较大的变化是1. 增加了DataFrame API，这样以后操作一些结构化的数据集时将会变的非常方便，它可以通过数据源如 Hive tables, JSON data, a JDBC database来构造，同时它还有很多其它方法和对SQL的支持，感兴趣的可以进一步了解。

val sc: SparkContext // An existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)

val df = sqlContext.jsonFile("examples/src/main/resources/people.json")

// Displays the content of the DataFrame to stdout
df.show()

2. spark SQL从这一版本开始成为稳定版了，增加了一个新的JDBC，可以从MySQL, Postgres, 或其它RDBMS系统中导入或导出数据。

转载于:https://www.cnblogs.com/magj2006/p/4337366.html