Flink源码编译：加快你的编译速度

最新推荐文章于 2024-08-08 00:20:33 发布

原创

最新推荐文章于 2024-08-08 00:20:33 发布 · 423 阅读

0 ·

CC 4.0 BY-SA版权

文章目录

1. 去除不必要的操作

mvn install -DskipTests -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true

2. 用install替代package

install会把Flink中的module安装到本地仓库，这样依赖当前module的其他组件就无需去远程仓库拉取当前module，节省了时间。

3. 指定hadoop版本和flink.shaded版本

mvn install -Dhadoop.version=3.0.0-cdh6.1.1 -Dflink.shaded.version=10.0

4. 失败继续

遇到某个module编译出问题，修复问题后可以通过-rf从反应堆中出问题的module继续编译，但是切记不要再使用clean命令，因为clean会把你之前编译的字节码删光。

 mvn install -DskipTests -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true -Dhadoop.version=3.0.0-cdh6.1.1 -Dflink.shaded.version=10.0 -rf :<moduleName>

反应堆：根据module的依赖关系，自动生成的一个需要编译的module的顺序列表，如下：

[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] flink-hadoop-fs                                                    [jar]
[INFO] flink-runtime                                                      [jar]
[INFO] flink-scala                                                        [jar]
[INFO] flink-mapr-fs                                                      [jar]
[INFO] flink-filesystems :: flink-fs-hadoop-shaded                        [jar]
[INFO] flink-s3-fs-base                                                   [jar]
...