spark2.1.0发布了

2016年12月28日发布

此版本更改

默认scala版本是Scala 2.11

官网看到

Spark runs on Java 7+, Python 2.6+/3.4+ and R 3.1+. For the Scala API, Spark 2.1.0uses Scala 2.11. You will need to use a compatible Scala version(2.11.x).

Spark 2.1.0uses Scala 2.11.x（没有＋这个符号，高了低了都无法使用）,官网是这么写的.笔者本人也没有试过.(有人试过给笔者留言)

,这个版本更关注于可用性,稳定性

更新：

数据类型的api是稳定的api；

rom_json和to_json解析JSON字符串列；

当创建PySpark DataFrame,Python字典可以用作StructType的值；

可伸缩的分区处理；

Kafka 0.10 support in Structured Streaming；

Locality Sensitive Hashing（hash的api有些更新）；

SparkR

和

GraphX

都有些更新.（因为目前没有涉及到此处开发,所以具体没关注）