基于docker安装spark

最新推荐文章于 2025-04-20 07:10:49 发布

原创最新推荐文章于 2025-04-20 07:10:49 发布 · 2.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#docker #spark

机器学习专栏收录该内容

5 篇文章

订阅专栏

本文详细介绍如何使用Docker快速部署Spark集群，并进行基本配置。此外还提供了启动Master和Slave节点的方法，以及如何通过spark-submit命令提交应用程序进行运行。

1.首先下载镜像并启动：

docker pull sequenceiq/spark:1.5.1
sudo docker run -it sequenceiq/spark:1.5.1 bash

2.修改配置
首先用ifconfig得到ip地址，我的ip是172.17.0.109，然后：

bash-4.1# cd /usr/local/spark 
bash-4.1# cp conf/spark-env.sh.template conf/spark-env.sh 
bash-4.1# vi conf/spark-env.sh

添加两行代码：

export SPARK_LOCAL_IP=172.17.0.109
export SPARK_MASTER_IP=172.17.0.109

3然后启动master 跟slave：

bash-4.1# ./sbin/start-master.sh 
bash-4.1# ./sbin/start-slave.sh 172.17.0.109:7077

这里遇到过报内存不够的，通过配置swap区域来解决
配置swap参考的文章（修改主机的swap就可以了）：
http://blog.youkuaiyun.com/lucky_liuxiang/article/details/47166957
浏览器打开（你的ip：8080）可以看到如下spark各节点的状态。

4.用spark-sumit提交一个应用运行一下：

/usr/local/spark/bin/spark-submit --master spark://172.17.0.3:7077 --class org.apache.spark.examples.SparkPi /usr/local/spark/lib/spark-examples-1.5.1-hadoop2.6.0.jar 2