【曲折版】配置spark环境(含前期的虚拟机virtualbox、ubuntu系统、Hadoop布局、Java环境配置等)

看MOOC慕课网上的spark课程,首先配置spark环境。

spark需要与Hadoop共同协作,所以在安装spark之前要先安装Hadoop,而spark和Hadoop又基于Java语言,所以在Hadoop之前需要先配置Java环境。
然后问题又来了,整个spark、Hadoop运行环境,在非Windows系统上运行较佳,所以还得先装虚拟机和虚拟系统。。。

下面从前到后按步骤来:

一、在Windows中使用VirtualBox安装Ubuntu
详情请戳 http://dblab.xmu.edu.cn/blog/337-2/ (本教程由厦门大学数据库实验室 / 给力星出品,转载请注明。)

安装ubuntu18.04.2时,发现安装步骤页面与上面帖子所述不一致(可能有版本更新影响),于是重新搜索了新帖来参考ubuntu虚拟系统的安装,如下链接:
https://www.cnblogs.com/alonely/p/10299802.html (Ubuntu Server 18.04 LTS安装)

【补充时间节点】
2019.7.3 21:30-23:20,各种折腾下载ubuntu镜像和spark、Hadoop安装包。先是用的搜狗默认下载,然后老失败,尝试N遍,老是在一开始下载速度超快,到后面快要下载完的时候急剧降速再然后就直接“下载失败”了。咨询了IT出身的老弟,简短推荐“换个下载工具”,于是立即下载安装迅雷,换了迅雷之后,果然下载就正常了。这个时间段,下载安装了比较轻巧的虚拟机virtualBox。
2019.7.3 23:20-2019.7.4 凌晨1:30 开始在虚拟机上安装ubuntu,参考帖子。0/12-10/12基本为设置阶段,照着帖子处理,秒运行;安装到了11/12进度时,已经凌晨一点半了,而且是在后台较长时间的安装,于是先睡,等后台安装。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值