Spark Nightly Builds

Spark Nightly Builds

1 Overview

如果你平时很关注社区，那么肯定想经常试用社区提交的新的 feature，但是是不是一定要 git fecth 最新的代码，本地打包再解压才能玩起来呢？

如果是这样的话，就太不好玩了。

2 Nightly Builds

https://spark.apache.org/developer-tools.html

这是 Spark 官网挂着的，意思就是通过配置 Maven 的 Apache Repo，也就是大部分的 Apache 项目都会有的，只要模块代码有修改，当天会进行编译打包并且发布到这个 SNAPSHOT 的仓库了，所以只要引用就可以玩了。

可以在自己写的 Spark Application 的 Pom 文件加一个 Repo（又或者直接配置 Maven Settings）。

<repositories>
    <repository>
        <id>Apache</id>
        <url>https://repository.apache.org/snapshots/</url>
        <snapshots>
            <enabled>true</enabled>
        </snapshots>
    </repository>
</repositories>

比如说，这个 Repo 你可以看到这些 SNAPSHOT 版本的 Jar 包最晚都什么时候打包的。

https://repository.apache.org/content/groups/snapshots/org/apache/spark/spark-kubernetes_2.11/maven-metadata.xml

3 Summary

正如官网所说的，SNAPSHOT 基本上版本会保持和最新的 commit 一致，所以尽管试用吧。