Spark: deploy cluster in standlone mode

最新推荐文章于 2025-08-06 16:26:40 发布
最新推荐文章于 2025-08-06 16:26:40 发布
阅读量135 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： 大数据 运维 php
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ylzhjlinux/article/details/84713360
本文介绍如何在三台主机上安装并配置Spark集群。步骤包括在所有节点安装Spark、设置SSH免密码登录、配置master和slaves文件以及启动集群。完成配置后可通过Web界面访问集群状态。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Host: 192.168.0.135 192.168.0.136   192.168.0.137

master: 137  workers:135 136

 

1.Install spark on all hosts  in /opt dir

 

2.Install SSH Remote Access

137#ssh-keygen

137#ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.135

137#ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.136

 

3. Configure

a. master 137

slaves

192.168.0.135
192.168.0.136

 

spark-env.sh

export SPARK_MASTER_IP=192.168.0.137
export SPARK_MASTER_PORT=7077

 

b. cp spark-env.sh to all workers nodes

 

4. start clusters

137#./sbin/start-all.sh

 

access: http://192.168.0.137:8080/     http://192.168.0.136:8081/

 

 

References

https://spark.apache.org/docs/latest/spark-standalone.html

https://trongkhoanguyenblog.wordpress.com/2014/11/15/how-to-install-spark-1-1-on-ubuntu/

Spark【安装篇】02：Spark【集群】【手动】安装部署：Standalone模式以及ON YARN模式
weixin_40612128的博客
03-08 3038
Spark【安装篇】02：Spark【集群】【手动】安装部署：Standalone模式以及ON YARN模式
Spark系列-3、Spark的部署方式之Standalone模式
不积跬步无以至千里，不积小流无以成江河
05-27 1293
Spark的部署方式之Standalone模式
spark的Standalone模式介绍
2401_87129116的博客
04-23 1381
2.修改/opt/module/spark-standalone/conf/spark-default.conf.temple。进入到hadoop100机器，切换目录到/opt/module/spark-standalone/sbin下，运行命令 ./start-all.sh。注意，这里不要省略./,它表示的是当前目录下的start-all命令，如果省略了./，它就会先去环境变量PATH中指定的目录来找这个命令。请注意，我们会把历史任务的记录保存在hdfs集群文件中，所以，这里需要hdfs服务的支持。
spark standlone 集群离线安装
xufwind的博客
07-04 821
spark standlone 业务集群安装， 包括 spak， kafka 等组件
Spark配置—Standlone模式
Star-Technology
06-26 1887
Step 1： 下载Spark版本：根据HDFS的版本进行下载，—–本文对应的是Spark 1.6.0 HDFS 2.6.0 http://spark.apache.org/downloads.html Step 2： 在node11节点执行命令：mkdir -p /opt/apps/spark cd /opt/apps/sparkStep 3： 使用xftp将下载的spark包上传到上述
Spark部署模式详解（Local，Standlone，Yarn）
Yage的博客
05-15 2959
1 为什么需要Yarn Yarn 的全称是 Yet Anther Resource Negotiator（另一种资源协商者）。它作为Hadoop 的一个组件，官方对它的定义是一个工作调度和集群资源管理的框架。 Yarn 最早出现于 Hadoop 0.23 分支中，0.23 分支是一个实验性分支，之后经过了几次迭代，最后发布于 2014 年 6 月的 0.23.11 版本(该分支的最后一个版本)。在...
Spark搭建 Standalone模式详细步骤
weixin_52134189的博客
05-21 2940
Spark搭建 Standalone模式详细步骤
详解Spark运行模式（local+standalone+yarn）
大数据
06-30 5265
Spark 有多种运行模式：1.可以运行在一台机器上，称为 Local（本地）运行模式。 2.可以使用 Spark 自带的资源调度系统，称为 Standalone 模式。 3.可以使用 Yarn、Mesos、Kubernetes 作为底层资源调度系统，称为 Spark On Yarn、Spark On Mesos、Spark On K8S。 Driver 是 Spark 中的主控进程，负责执行应用程序的 main() 方法，创建 SparkContext 对象，负责与 Spark 集群进行
Spark中Standalone的两种提交模式
微信公众号：一颗向上的草莓
05-03 509
Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-cluster模式。 1.Standalone-client提交任务方式 提交命令 ./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi ../li...
搭建Spark Standalone集群
梁辰兴的博客
04-19 1423
当应用程序运行时，Master会在集群中选择一个Worker进程启动一个名为DriverWrapper的子进程，该子进程即为Driver进程，所起的作用相当于YARN集群的ApplicationMaster角色，类似MapReduce程序运行时所产生的MRAppMaster进程。Spark Standalone集群使用Spark自带的资源调度框架，但一般我们把数据保存在HDFS上，用HDFS做数据持久化，所以Hadoop还是需要配置，但是可以只配置HDFS相关的，而Hadoop YARN不需要配置。
SparkCore：Spark术语和运行架构
11号车厢
08-02 352
文章目录1、Glossary术语2、Components组成 官网Deploying–>Overview http://spark.apache.org/docs/2.4.2/cluster-overview.html 1、Glossary术语 Application User program built on Spark. Consists of a driver program ...
Spark中Standalone的两种提交模式（Standalone-client模式与Standalone-cluster模式）
qq_39131779的博客
10-30 2272
文章目录1.Standalone-client提交任务方式执行流程总结2.Standalone-cluster提交任务方式执行流程总结须知 Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-cluster模式。 1.Standalone-client提交任务方式 提交命令： ./spark-submit --master s...
spark-----------------------standlone、性能优化、job任务调度
weixin_43740680的博客
08-04 207
sparkStandalone 集群资源管理和任务调度的框架（类似mapreduce） 主节点：Master 从节点：Worker spark Application运行的过程 spark程序包含2部分（Driver和Executor都是JVM进程） Driver program：程序Main，创建sparkContext对象 Executor s：相当于线程池（有很多线程，每个线程可以运行一个T...
【大数据入门核心技术-Spark】（七）执行Spark任务的两种方式:spark-submit和spark-shell
03-17 2035
引入：spark-shell交互式编程确实很方便我们进行学习测试，但是在实际中我们一般是使用IDEA开发Spark应用程序打成jar包交给Spark集群/YARN去执行，所以我们还得学习一个spark-submit命令用来帮我们提交jar包给spark集群/YARN。引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！
需求EAV模型的优化与思考
HAN_789的博客
08-06 509
针对EAV（Entity-Attribute-Value）存储模型及Elasticsearch集成需求，以下是详细方案设计和实现建议。
Java中的RabbitMQ完全指南
H1658554092的博客
07-31 1102
Java中的RabbitMQ完全指南
ElasticSearch实战指南：从零部署到Java高效集成
weixin_52612796的博客
08-06 928
本文将带你从零部署ES，深入核心概念，并通过Java代码示例实现高效集成。全文包含详细参数解析与实战代码，助你快速掌握ES精髓。
Java 大视界 -- Java 大数据机器学习模型在电商用户生命周期价值评估与客户关系精细化管理中的应用（383）
最新发布
【青云交】华为云云享专家，在技术圈个人影响力位居前17，跻身博客之星 TOP23。同时荣登【原力榜、作者周榜、领军人物和综合热榜】四榜榜首，破优快云排行榜记录！苏州地区各榜也统统拿下榜首之位，实力爆棚！非常感谢全网十多万粉丝的喜欢和关注！
08-06 1264
本文基于 12 家电商的实战案例，详解 Java 大数据机器学习模型在用户生命周期价值评估与客户关系管理中的应用。通过 “数据层 - 模型层 - 应用层” 架构，结合 K-Means 分群、随机森林 LTV 预测等技术，解决了营销资源错配、流失预警滞后等问题。某电商改造后，新客留存率从 30% 提至 58%，营销 ROI 提升 109%。文中包含完整代码实现（如 RFM 特征计算、用户分群模型）、避坑指南及数据对比，为电商精细化运营提供可操作方案。
基于Java的AI工具和框架
keny-大成的博客
08-04 1470
本文介绍了多个基于Java的AI工具和框架的实用案例，涵盖机器学习、自然语言处理、计算机视觉、推荐系统等领域。主要内容包括： 机器学习与深度学习：使用Deeplearning4j进行图像分类、Weka实现决策树算法、Apache Spark MLlib分布式逻辑回归等案例，并提供代码示例。 自然语言处理：OpenNLP句子分割、Stanford CoreNLP命名实体识别、LingPipe情感分析等工具的应用实例。 计算机视觉：OpenCV人脸检测、BoofCV特征点匹配、ImageJ医学图像分析等场景的实
mvn:deploy:deploy-file -DgroupId 怎么被解析执行的
06-08
`mvn`是Maven的命令行工具，用于构建和管理Java项目。`mvn deploy:deploy-file`是Maven的一个插件命令，用于将本地的构件发布到Maven仓库中。 `-DgroupId`是`mvn deploy:deploy-file`命令的一个参数，用于指定构件所属的groupId。 在执行`mvn deploy:deploy-file`命令时，Maven会解析`pom.xml`文件中的`<distributionManagement>`节点，该节点包含了Maven仓库的相关信息，如URL、用户名、密码等。然后Maven会将构件上传到指定的Maven仓库中，并将相关信息保存到Maven仓库的索引文件中，以供其他开发者使用。在上传构件时，Maven会自动根据`<groupId>`、`<artifactId>`、`<version>`等信息来确定构件的唯一标识。 因此，通过执行`mvn deploy:deploy-file -DgroupId=<groupId> ...`命令，并指定正确的参数，就能将构件成功上传到指定的Maven仓库中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值