这篇博客介绍了如何在CentOS 7和Hadoop 2.7.1环境下，基于Docker部署Spark 3.0.0。步骤包括下载Spark，解压，重命名文件夹，配置spark-env.sh文件，以及验证安装成功。此外，还涵盖了Python 3的安装过程。
此为课程笔记
环境：centos7. Hadoop2.7.1 Spark3.0.0 Python3
基于Docker的Spark安装部署。
在老师指定的网站CourseGrading网站上的环境部署环境，本实验为每位学生提供了3个虚拟节点。
Spark安装
1.首先在网络上下载spark3.0
2.执行如下命令解压：
cd /usr/local
tar -zxvf spark-3.0.0-bin-without-hadoop.tgz
rm -f spark-3.0.0-bin-without-hadoop.tgz
3.将解压得到的 spark-3.0.0-bin-without-hadoop 文件夹重命名为 spark
mv spark-1.6.2-bin-without-</
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
