Spark: deploy cluster in standlone mode

最新推荐文章于 2025-12-26 15:09:32 发布

原创最新推荐文章于 2025-12-26 15:09:32 发布 · 147 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #运维 #php

Spark 专栏收录该内容

4 篇文章

订阅专栏

本文介绍如何在三台主机上安装并配置Spark集群。步骤包括在所有节点安装Spark、设置SSH免密码登录、配置master和slaves文件以及启动集群。完成配置后可通过Web界面访问集群状态。

Host: 192.168.0.135 192.168.0.136 192.168.0.137

master: 137 workers:135 136

1.Install spark on all hosts in /opt dir

2.Install SSH Remote Access

137#ssh-keygen

137#ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.135

137#ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.136

3. Configure

a. master 137

slaves

192.168.0.135
192.168.0.136

spark-env.sh

export SPARK_MASTER_IP=192.168.0.137
export SPARK_MASTER_PORT=7077

b. cp spark-env.sh to all workers nodes

4. start clusters

137#./sbin/start-all.sh

access: http://192.168.0.137:8080/ http://192.168.0.136:8081/

References

https://spark.apache.org/docs/latest/spark-standalone.html

https://trongkhoanguyenblog.wordpress.com/2014/11/15/how-to-install-spark-1-1-on-ubuntu/

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ylzhjlinux

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark系列-3、Spark的部署方式之Standalone模式

不积跬步无以至千里，不积小流无以成江河

05-27

1372

Spark的部署方式之Standalone模式

Spark中Standalone的两种提交模式（Standalone-client模式与Standalone-cluster模式）

qq_39131779的博客

10-30

2293

文章目录1.Standalone-client提交任务方式执行流程总结2.Standalone-cluster提交任务方式执行流程总结须知 Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-cluster模式。 1.Standalone-client提交任务方式提交命令： ./spark-submit --master s...

参与评论您还未登录，请先登录后发表或查看评论

spark的Standalone模式介绍

2401_87129116的博客

04-23

1452

2.修改/opt/module/spark-standalone/conf/spark-default.conf.temple。进入到hadoop100机器，切换目录到/opt/module/spark-standalone/sbin下，运行命令 ./start-all.sh。注意，这里不要省略./,它表示的是当前目录下的start-all命令，如果省略了./，它就会先去环境变量PATH中指定的目录来找这个命令。请注意，我们会把历史任务的记录保存在hdfs集群文件中，所以，这里需要hdfs服务的支持。

spark standlone 集群离线安装

xufwind的博客

07-04

901

spark standlone 业务集群安装，包括 spak， kafka 等组件

Spark配置—Standlone模式

Star-Technology

06-26

1919

Step 1：下载Spark版本：根据HDFS的版本进行下载，—–本文对应的是Spark 1.6.0 HDFS 2.6.0 http://spark.apache.org/downloads.html Step 2：在node11节点执行命令：mkdir -p /opt/apps/spark cd /opt/apps/sparkStep 3：使用xftp将下载的spark包上传到上述

Spark集群搭建-Standalone

2402_87162165的博客

05-06

448

进入到hadoop100机器，切换目录到/opt/module/spark-standalone/sbin下，运行命令 ./start-all.sh。切换到目录 /opt/module/spark-standalone/bin下，可以看到有一个spark-submit可执行文件，我们通过它来提交任务。进入/opt/module/把解压的内容重命名一下，mv spark-3.1.1-bin-hadoop3.2/ spark-standalone。

Spark部署模式详解（Local，Standlone，Yarn）

Yage的博客

05-15

3047

1 为什么需要Yarn Yarn 的全称是 Yet Anther Resource Negotiator（另一种资源协商者）。它作为Hadoop 的一个组件，官方对它的定义是一个工作调度和集群资源管理的框架。 Yarn 最早出现于 Hadoop 0.23 分支中，0.23 分支是一个实验性分支，之后经过了几次迭代，最后发布于 2014 年 6 月的 0.23.11 版本(该分支的最后一个版本)。在...

详解Spark运行模式（local+standalone+yarn）

大数据

06-30

5531

Spark 有多种运行模式：1.可以运行在一台机器上，称为 Local（本地）运行模式。 2.可以使用 Spark 自带的资源调度系统，称为 Standalone 模式。 3.可以使用 Yarn、Mesos、Kubernetes 作为底层资源调度系统，称为 Spark On Yarn、Spark On Mesos、Spark On K8S。 Driver 是 Spark 中的主控进程，负责执行应用程序的 main() 方法，创建 SparkContext 对象，负责与 Spark 集群进行

Spark搭建 Standalone模式详细步骤

weixin_52134189的博客

05-21

3129

Spark搭建 Standalone模式详细步骤

Spark中Standalone的两种提交模式

微信公众号：一颗向上的草莓

05-03

548

Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-cluster模式。 1.Standalone-client提交任务方式提交命令 ./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi ../li...

搭建Spark Standalone集群

梁辰兴的博客

04-19

1463

当应用程序运行时，Master会在集群中选择一个Worker进程启动一个名为DriverWrapper的子进程，该子进程即为Driver进程，所起的作用相当于YARN集群的ApplicationMaster角色，类似MapReduce程序运行时所产生的MRAppMaster进程。Spark Standalone集群使用Spark自带的资源调度框架，但一般我们把数据保存在HDFS上，用HDFS做数据持久化，所以Hadoop还是需要配置，但是可以只配置HDFS相关的，而Hadoop YARN不需要配置。

Spark On YARN启动流程源码分析

METON的博客

04-04

1528

1、spark-submit入口介绍一般的spark作业都是通过命令行spark-submit相关的指令来进行提交，使用--master yarn来指定提交到对应的yarn集群上，如下： ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 4g \ --executor-memory

Flink源码阅读：Watermark机制

K_Ohaha的博客

12-22

1009

本文分析了Flink中Watermark的源码实现，主要包含三个部分：1) Watermark的定义，它是一个带有时间戳的StreamElement；2) Watermark的生成过程，通过assignTimestampsAndWatermarks方法初始化，创建TimestampsAndWatermarksOperator并设置定时器周期性发送；3) 下游处理机制，获取上游最小Watermark并向下游广播。文章通过关键代码片段和调用链路图，详细阐述了Watermark在Flink中的实现原理和处理流程。

k8s+Flink断点续传(MySQL同步Starrocks)

weixin_42562106的博客

12-26

169

Flink 3.4版本在Kubernetes环境下的部署与优化摘要：本文介绍了Flink 3.4版本在Kubernetes环境下的部署方案和优化措施。通过K8s原生支持实现了基础设施级容错，包括Pod故障自动重启、节点故障自动调度以及S3持久化存储等特性，确保作业的稳定运行。提供了集群启动命令和核心JAR包清单，详细说明了包含S3支持的Docker镜像构建方法，并给出了完整的FlinkDeployment YAML模板配置。配置中重点设置了Checkpoint、状态后端、高可用等关键参数，充分利用K8s和

视频汇聚平台EasyCVR筑牢智慧物流全场景可视化安全防线

最新发布

EasyCVR视频融合云平台的技术博客

12-26

140

随着智慧物流的快速发展，仓储物流场景对监控系统的智能化、联动化、高效化要求日益提升。

在 .NET Core 8 中实现 RabbitMQ

csdn_aspnet的专栏，请点击博客主页右上角三个点中的私信联系

12-26

1136

本文介绍了在.NET 8环境中集成RabbitMQ的实现方法。通过使用MassTransit和MassTransit.RabbitMQ包，详细说明了配置发布者和消费者服务的过程。文章包含RabbitMQ设置类、队列定义、消息发布服务实现，以及消费者服务处理消息的完整示例。重点展示了如何通过RabbitMQ实现订单验证和推送通知功能，包括JSON消息的序列化和反序列化处理。最后说明了在Program.cs中配置相关服务的方法，为构建可扩展的分布式系统提供了实用指导。

康普茶酿造厂怎么选酿造设备？

ShandongTiantai的博客

12-25

360

调研时不仅要核对设备参数是否匹配需求，更要重点关注细节：设备报价是否透明（有无隐藏后续费用）、厂家提供多久保修、后续维护是否便捷（配件供应及时性、是否有上门维修服务）。选对、买对康普茶酿造设备，直接关系着产能稳定性、产品品质一致性，更影响后续运营的效率与利润。最后要提醒的是，康普茶酿造设备的选购，本质是“需求匹配”的过程——没有最好的设备，只有最适合自己的设备。具体来说，产能规模、产品质量控制要点、生产安全保障、能耗效率、是否符合环保可持续要求，这些“硬指标”必须一一明确，列成清单，后续选型才不会跑偏。

Elasticsearch Range查询性能优化：从20秒到1秒的优化实践

weixin_40362204的博客

12-25

525

这次性能问题的根本原因是字段类型选择不当。text类型适合文本搜索，但不适合数值范围的range查询。通过添加long类型的字段，我们成功将查询性能提升了7-20倍。字段类型的选择直接影响查询性能mapping设计需要在项目初期就考虑好遇到性能问题，先检查字段类型和mapping配置生产环境优化要优先考虑零停机方案。

Java 大视界 -- 5230 台物联网设备时序数据难题破解：Java+Redis+HBase+Kafka 实战全解析（查询延迟 18ms）(438)

【青云交】华为云云享专家 | 阿里云开发者社区专家博主技术圈个人影响力前 17 | 博客之星 TOP23 优快云首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！苏州地区全榜霸榜，感恩全网十多万粉丝同行！

12-22

1681

本文详细解析了Java在工业物联网中的实战应用，通过Redis+HBase+Kafka+AI技术栈成功解决了某汽车零部件工厂5230台设备产生的海量时序数据处理难题。项目日均处理9亿条数据，实现热数据18ms内查询、冷数据低成本存储，故障预警准确率达97.2%，累计避免600万元经济损失。文章从技术选型、架构设计到核心代码实现全面剖析，重点展示了分层架构设计（设备层→边缘网关→消息缓冲→处理层→存储层→应用层）和关键优化策略，为工业物联网大数据处理提供了可复用的生产级解决方案。

mvn:deploy:deploy-file -DgroupId 怎么被解析执行的

06-08

`mvn deploy:deploy-file`是Maven的一个插件命令，用于将本地的构件发布到Maven仓库中。 `-DgroupId`是`mvn deploy:deploy-file`命令的一个参数，用于指定构件所属的groupId。在执行`mvn deploy:deploy-file`命令...