使用docker搭建spark(2.3.1)集群

最新推荐文章于 2025-06-20 12:09:50 发布

原创

最新推荐文章于 2025-06-20 12:09:50 发布 · 6.3k 阅读

·

3

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

本文介绍了如何使用Docker搭建Spark 2.3.1集群，详细步骤包括下载项目、启动容器，以及集群的使用和作业提交。在成功配置后，可以通过浏览器界面验证集群配置，并在集群中查看Spark、Hadoop和Python版本。同时，文章展示了如何将本地文件挂载到容器中，提交作业到Spark进行运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用Docker快速搭建Spark集群。

创建Spark集群

首先在命令行下载该项目：

git clone https://github.com/gettyimages/docker-spark.git

在该目录下，输入compose up:
等待安装，最后会提示Worker和master都准备好了：
在浏览器中输入localhost:8080，出现如下界面，说明配置成功：
我们可以使用docker ps -a命令查看当前运行的容器：

最低0.47元/天解锁文章

200万优质内容无限畅学

博客等级

码龄8年

196
原创

413
点赞

1799
收藏

326
粉丝

关注

私信

热门文章

分类专栏

展开全部收起

上一篇：: 使用docker安装Hadoop和Spark

下一篇：: ZooKeeper元数据管理系统

最新评论

基于IMDb数据集的情感分析（Doc2Vec模型与神经网络实现）
gdisnsagu: 有预处理完的文件吗
KMP算法详解（C++实现）
2401_84256088: 又臭又长还有错，看我写的 /** * @param s 待匹配的字符串 * @param p 模式串 * @return s是否包含p * next[j]表示以p[j]结尾的子串，的最长相等先后缀的长度 */ bool kmp (const string &s, const string &p) { int n = s.size(), m = p.size(), next[m], i, j, k; next[0] = 0; for (j = 1; j < m; j++) { for (k = next[j-1]; k && p[j] != p[k]; k = next[k - 1]); next[j] = p[j] == p[k] ? k + 1 : 0; } for (i = 0, j = 0; i < n && j < m;) { if (s[i] == p[j]) i++, j++; else j = next[j]; } return j == m; }
矩阵求导法则与性质
Jerry fk: 我也在纠结这玩意儿，我刚看了定义，他那个刚好写反了
hexo下LaTeX无法显示的解决方案
风翼飞镰: 这是关键啊:CDN地址！
python plot hist 密度图概率和不为1
尚未填写: 有用，感谢！想要绘制多组数据的概率图的话，只需把不同的weights添加到一个列表即可，比如： x_value = [train_points, test_points] train_weights = np.ones_like(train_points)/float(len(train_points)) test_weights = np.ones_like(test_points)/float(len(test_points)) weights = [train_weights, test_weights] plt.hist(x_value, bins=10, histtype="bar", alpha=0.5, label=["training set", "test set"], weights=weights) plt.legend() plt.show()

大家在看

最新文章

目录

展开全部

收起

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。