两行代码部署docker spark集群

Lailikes

于 2020-03-16 19:16:58 发布

阅读量208

点赞数

分类专栏：其他文章标签： docker spark 部署 docker-compose 简单

版权

18 篇文章

订阅专栏

本文介绍如何使用Docker及docker-compose快速部署Spark集群，仅需一条命令即可启动包含3个worker节点的集群，极大地简化了传统Spark集群的部署过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

部署spark集群有许多步骤，但是使用docker的话可以极大简化这些步骤，再通过docker-compose还可以进一步简化部署步骤。命令如下：

git clone https://github.com/Likes123/docker-spark-cluster && cd docker-spark-cluster
docker-compose up --scale spark-worker=3

实际上也很简单，之所部署命令简单，是因为有人写好了相应的docker-compose文件。我们可以根据自己的需要调整docker-compose文件