Spark源码编译

转载自https://blog.youkuaiyun.com/qq_38976805/article/details/89739652

简单记录一下编译spark2.2.0的过程：

• 在自己的机器中，由于用的是联通网络，也没有配置科学上网，因此，不管怎么换和加载镜像源（也加载了阿里的镜像源）。总是有包下载不了，后来直接在阿里云上，一步到位，编译出来了。
• 修改主机名  hostname 主机名临时生效  永久生效需要修改 vim /etc/sysconfig/network

• ./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Dhadoop.version=2.6.0-cdh5.7.0 -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn -Pkubernetes各个参数的意义要了解

• 踩过的坑 http://www.imooc.com/article/267389