docker使用案例（利用docker搭建spark集群）

最新推荐文章于 2025-06-20 12:09:50 发布

原创

最新推荐文章于 2025-06-20 12:09:50 发布 · 1.5w 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#docker #spark #集群

本文介绍了如何利用Docker快速搭建Spark集群。通过下载并使用github上的spark-docker项目，结合Dockerfile创建镜像，然后使用docker-compose.yml启动单工作节点的standalone模式Spark集群。完成设置后，可以通过访问宿主机的8081端口查看Spark运行界面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

利用docker搭建spark集群

这里是docker的文档中心，因此就忽略spark的安装过程。我们这里讲解如何使用Dockerfile生成spark集群环境。
关于spark集群的搭建会在爬虫的数据分析章节来讲述。
笔者使用的是https://github.com/SingularitiesCR/spark-docker 来讲述如何使用docker安装spark集群。

1.利用git下载该项目。因为测试机子上木有安装git。于是手动下载了项目拖到到远程主机上

2.进入项目的主目录。利用dockerfile生成docker镜像（这个dockerfile不是centos的，是debian9）
docker build -t myspark . -t是起名字注意最后的一个点必须要。表示dockerfile在当前目录。也可以手动写dockerfile的目录
镜像生成以后，可以使用docker image ls来查看生成的镜像