Spark StandAlone 集群搭建

最新推荐文章于 2025-05-20 20:53:59 发布
最新推荐文章于 2025-05-20 20:53:59 发布
阅读量283 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 spark 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhixingheyi_tian/article/details/89191698

启动master节点

./sbin/start-master.sh
登陆到UI
http://10.239.10.11:8080/

在这里插入图片描述

启动worker节点

./sbin/start-slave.sh spark://xxshen-dev:7077
在这里插入图片描述

启动 Spark-Sql

./bin/spark-sql --master spark://xxshen-dev:7077
启动之后会有一个 application UI
这里4040端口被占用，使用的是4041端口，这样一来和yarn 有点像了。
在这里插入图片描述

执行sql

SELECT * FROM parquet_tpcds_2.store_sales WHERE s

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark Standalone 集群配置
主要分享大数据相关的知识，如Spark、Hudi
02-07 645
平时工作中主要用 YARN 模式，最近进行TPC测试用到了 Standalone 模式，便记录总结一下 Standalone 集群相关的配置。
配置Spark Standalone集群
m0_65838036的博客
06-17 395
在master虚拟机上安装配置Spark
大数据Spark（五十九）：Standalone集群部署
最新发布
Lansonli（蓝深李）的博客
05-20 1760
Standalone集群是Spark自带的资源调度系统，无需依赖外部集群管理器。集群由主节点（Master）、工作节点（Worker）和客户端（Client）组成。Master负责资源管理和任务调度，Worker执行计算任务，Client提交任务。搭建Standalone集群的步骤包括：上传并解压Spark安装包，配置spark-env.sh和workers文件，将配置好的安装包发送到各节点，启动集群。启动后，可通过浏览器查看集群信息。测试集群时，可在客户端节点上提交任务，如SparkPi任务，以验证集群的
spark standalone集群部署
shuest的博客
06-23 481
进入spark安装目录下的conf文件夹 修改配置文件名称 mv slaves.template slaves mv spark-env.sh.template spark-env.sh 修改slave文件，添加work节点： vim slaves 加入： hadoop102 hadoop103 hadoop104 修改spark-env.sh文件，添加如下配置： SPARK_MASTER_HOST=hadoop102 SPARK_MASTER_PORT=7077 分发spar
大数据Spark Standalone集群
赵广陆
05-04 911
目录1 Standalone 架构2 配置、部署及启动2.1 解压、环境变量2.2 Workers主机名称2.3 配置Master、Workers、HistoryServer2.4 创建EventLogs存储目录2.5 配置Spark应用保存EventLogs2.6 设置日志级别2.7 分发到集群所有机器2.8 启动服务进程2.9 提交运行圆周率3 Spark 应用架构4 WEB UI 监控5 Standalone HA5.1 高可用HA5.2 基于Zookeeper实现HA5.3 测试运行 1 Stan
Spark Standalone集群架构
htfenght的博客
01-10 429
Spark Standalone集群架构 SparkStandalone集群 集群管理器，cluster manager：Master进程，工作节点：Worker进程 搭建了一套Hadoop集群（HDFS+YARN） HDFS：NameNode、DataNode、SecondaryNameNode YARN：ResourceManager、NodeManager Spark集群（Spark St...
spark standalone集群搭建
03-16
Spark Standalone集群搭建步骤如下： 1. 安装Java环境和Spark软件包； 2. 配置Spark的环境变量； 3. 配置Spark的主节点和从节点； 4. 启动Spark集群； 5. 验证Spark集群是否正常工作。 具体步骤可以参考Spark官方...
Spark基础学习笔记05：搭建Spark Standalone集群
lwmzl00的博客
06-17 1245
文章目录 零、本讲学习目标 搭建Spark Standalone模式的集群 能够启动Spark Standalone模式的集群 学会Spark应用程序的提交 Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构 Spark Standal
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍  Spark是基于内存计算的大数据并行计算框架，...
Spark基础学习笔记05：搭建Spark Standalone模式的集群
f54268589的博客
06-07 534
Spark基础学习笔记05：搭建Spark Standalone模式的集群
搭建Spark Standalone模式的集群
xue1100的博客
03-04 280
一 利用SecureCRT登录三台虚拟机 对master slave1 slave2执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件并添加两个域名服务器（右击对话框选择chat windows,在次点击send chat all sessions可以在对话框内输入的内容同时写到多个虚拟机上面） 执行命令：yum -y install vim 安装vim 测试maser slave1 slave2能否链接外网 查看master sl..
详解 Spark 的 Standalone 集群
初阳
11-15 984
在一台机器上本地运行是很容易的，只需要在系统路径上安装Java，或者JAVA_HOHE环境变量指向Java安装 可以通过scala shell的修改版本以交互方式运行spark。这是学习框架的好方法。 ./bin/spark-shell --master local[2] --master选项指定分布式集群的主URL，或local以一个线程本地运行，或local[N]以n个线程本地运行。要...
spark stand alone 集群部署
escaflone的专栏
11-07 2881
以Spark 1.1.0为例 1、编译源码 ./make-distribution.sh --tgz --skip-java-test -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0（视情况更改配置）
Spark环境搭建之Standalone独立集群
大数据跟我学i
03-10 261
文章目录原理操作测试1.集群启动和停止2.jps查看进程3.http://node01:8080/4.启动spark-shell5.提交WordCount任务6.查看结果7.查看spark任务web-ui 原理 操作 集群规划 node01:master ndoe02:worker/slave 配置slaves/workers 进入配置目录： cd /export/servers/spark/conf 修改配置文件名称： mv slaves.template slaves vim slaves
搭建Spark Standalone集群
梁辰兴的博客
04-19 1426
当应用程序运行时，Master会在集群中选择一个Worker进程启动一个名为DriverWrapper的子进程，该子进程即为Driver进程，所起的作用相当于YARN集群的ApplicationMaster角色，类似MapReduce程序运行时所产生的MRAppMaster进程。Spark Standalone集群使用Spark自带的资源调度框架，但一般我们把数据保存在HDFS上，用HDFS做数据持久化，所以Hadoop还是需要配置，但是可以只配置HDFS相关的，而Hadoop YARN不需要配置。
spark standalone集群模式搭建
08-23 318
搭建前，必须准备好hadoop #scala environment export SCALA_HOME=/opt/scala-2.10.6 export PATH=$PATH:$SCALA_HOME/bin centos-master centos-slave1 centos-slave2 #spark config SPARK_HOME=/opt/spark-1.6.0
spark集群搭建，standalone
CAM的博客
07-03 2064
有写的不对的地方，欢迎各位同学评论指正，博主会进行修改。 前 言 这是博主搭建spark集群经验，不使用yarn或是Mesos，spark自身的集群环境，考虑到实际应用，过两日博主会把本文改成spark集群高可用搭建。 虽然本文不使用yarn或Mesos，但是先按照本文方式安装配置，在加入所需要的组件，也是可以的。另外，希望各位同学不要曲解，博主也曾
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhixingheyi_tian

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值