编译Spark2.X源码的心得和注意事项

本文介绍如何通过make-distribution.sh命令编译Spark,并解决编译过程中出现的权限错误和下载依赖失败的问题。建议手动安装缺失的依赖,并确保spark.tgz文件具有最大权限。

我这是用make-distribution.sh这个命令编译的。也是我推荐使用的,因为可以直接产生一个tgz包,其他的节点可以直接使用。

建议打开make-distribution.sh,更改如下部分。

报错:

VERSION='ERROR: Cannot download zinc-0.3.9.tgz with cURL or wget; please install manually and try again.'

这个问题的解决是安装manually:sudo apt-get install manually.

还要注意一点就是你解压的spark.tgz一定要给最大的权限。否则编译的时候会报权限错误。

评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值