安装Spark，搭建伪分布式和完全分布式（3节点）

默默谦行 默默谦行 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 400+累计阅读 480平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄7年
关注
原创 最新推荐文章于 2026-03-02 00:01:03 发布 480 阅读 AI 写同款· GEO 优化 ›
centos7部署spark伪分布式和完全分布式 一、伪分布式 下载安装压缩包spark官网 准备3台虚拟机，我这里的虚拟机主机名分别为 bigdata111、bigdata112、bigdata113 上传安装压缩包到虚机bigdata111的/opt/software【自己创建的目录】目录 将spark压缩包解压到指定目录 [root@bigdata111 scala]# cd /opt/software/ [root@bigdata11... 阅读详情

安装Spark，搭建伪分布式和完全分布式（3节点）

搭建伪分布式

解压缩文件
tar -zxvf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module/
在这里插入图片描述
因为spark和hadoop的目录结构相似，都有bin和sbin目录，为了防止冲突，就不配合环境变量了
在这里插入图片描述
进入conf目录，对配置文件重命名
mv spark-env.sh.template spark-env.sh
在这里插入图片描述
进入配置文件
vi spark-env.sh
shift+G跳到最后一行
增加配置

export JAVA_HOME=/opt/module/jdk1.8.0_144
export SPARK_MASTER_HOST=bigdata2
export SPARK_MASTER_PORT=7077

在这里插入图片描述
对slaves.template文件重命名
在这里插入图片描述
将文件最后一行的localhost改为自己的主机名
在这里插入图片描述
保存完毕之后，启动spark
jps查看进程有Master和Worker进程
在这里插入图片描述
然后就可以通过浏览器访问8080页面
在这里插入图片描述

搭建完全分布式

搭建完全分布式之前，需要把伪分布式的服务先停掉
sbin/stop-all.sh
还需要关闭防火墙与SSH免密登录

将slaves的最后一行改为想要的子节点名（ip）即可,别的都跟主节点之前的配置一样
在这里插入图片描述
主节点启动集群
sbin/start-all.sh
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

收录于
大数据学习

当前文章被收录于：

大数据学习
17 篇文章 0 人学习
订阅专栏 查看详情
Linux

当前文章被收录于：

Linux
12 篇文章 0 人学习
订阅专栏 查看详情
spark

当前文章被收录于：

spark
1 篇文章 0 人学习
订阅专栏 查看详情
标签
#linux #spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Spark完全分布式集群搭建 前面已经给大家讲解过伪分布式spark的安装，和hadoop集群、以及zookeeper集群的搭建，今天就给大家说下Spark完全分布式集群搭建。 前提是已经搭建好了hadoop集群和zookeeper集群。 和前面创建时候一样，我们还是用3台机来搭建，一台主机，两台从机，就和hadoop集群搭建时候的步骤一样； 分别为每台虚拟机设置主机名： hostname spark1 hostname spark2 hostname spark3 前面已经搭建过一个伪分布式的spark就不多说了，没安装好的可以去重新 阅读详情

相关推荐

Spark概述及Scala搭建操作步骤

现在Apache Spark已经形成一个丰富的生态圈，包括官方和第三方开发的组件或工具。Spark生态圈也称为伯克利数据分析栈，由AMPLab打造，是致力于在算法，机器，人之间通过大规模集成展现大数据应用的平台。1.Spark Core：spark的核心，提供底层框架及核心支持。2.BlinkDB:一个用于在海量数据上进行交互式SQL查询的大规模并进行查询引擎，允许用户通过权衡数据精度缩短查询响应时间，数据的精度将被控制在允许的误差范围内。

xidiexi的博客 1498

Centos7搭建spark（3节点）

集群环境 master:192.168.230.10 slave1:192.168.230.11 slave2:192.168.230.12 运行环境 spark:2.0.2 scala:2.11.4 安装scala 在/usr/local/src/scala目录下解压： tar zxvf scala-2.12.4.tgz 在~/.bashrc配置环境变量SCALA_HOME SCALA_HOM...

Yage的博客 792

hadoop搭建及spark安装

linux常用命令 https://www.cnblogs.com/xuxinstyle/p/9609551.html mkdir 创建目录 tar解压命令 pwd查看完整路径 rm删除文件 mv移动命令 ls查看文件夹内容 cd命令 搭建 ifconfig: 未找到命令 参考网址：https://blog.youkuaiyun.com/Gushiyuta/article/details/90760401 方法一：输入ip addr 方法二：输入以下命令安装net-tool： yum -y

qq_36574506的博客 957

spark 集群搭建*（3节点）

spark环境安装 一． 下载安装 下载地址：http://spark.apache.org/downloads.html Standalone模式的spark集群虽然不依赖于yarn，但是数据文件存在hdfs，所以需要hdfs集群启动成功 这里下载包也要根据hadoop集群版本启动 比如hadoop2.5.2需要下载spark-1.4.0-bin-hadoop2.4.tgz

xrl001的博客 635

在ubuntu14下安装部署伪分布式的spark环境

在ubuntu14下安装部署伪分布式的spark环境

叶小东的博客 678

Spark伪分布式搭建与SparkYarn搭建

Spark伪分布式搭建教程(Standalone:Master+Slave) 分析： 1.配置好IP 2.修改好主机名 3.做好IP映射 4.关闭防火墙 5.安装好Java（请参考Linux-Java安装文档，如果已经安装可以忽略） 6.安装好Hadoop(请参考Hadoop伪分布式搭建或Hadoop完全分布式) 7.安装scala 8.配置SSH 9.配置伪分布式集群 软件提取链接:https://pan.baidu.com/s/1oxBcv6xRavVtxmBPzEWHuQ 提取码:1000 1.IP配

qq_50835159的博客 504

Spark 伪分布式安装

下载安装文件 wget http://ftp.cuhk.edu.hk/pub/packages/apache.org/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz 解压文件 tar -xzvf spark-2.3.1-bin-hadoop2.7.tgztar -xzvf cdh5.15.0-release mv spark-2.3.1-bin-hadoop2.7 /etc/spark 进入spark配置目录 cd /etc/spark/con

weixin_42581666的博客 265

Spark学习之路 （五）Spark伪分布式安装

《2021年最新版大数据面试题全面开启更新》 欢迎关注github《大数据成神之路》 目录 一、JDK的安装 1.1　上传安装包并解压 1.2　配置环境变量 1.3　验证Java版本 二、配置配置ssh localhost 2.1　检测 2.2　生成私钥和公钥秘钥对 2.3　将公钥添加到authorized_keys 2.4　赋予authorized_keys文件600的权限 2.5　修改Linux映射文件(root用户) 2.6　验证 三、安装Hadoop-2.7.5 3.1　上传解压缩 3.2　.

微信搜：import_bigdata，大数据领域硬核原创作者 608

centos7三个节点的 spark集群搭建

一.前期准备： 三台centos7虚拟机hadoop01,hadoop02,hadoop03(已成功完成hadoop集群搭建)，xshell,xftp,spark安装包（https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz） 说明：以下全部使用root用户进行操作 二.针对h...

赴前尘 1520

SCHUNK SVH五指灵巧手 | 熵洛智能

雄克仿真五指机械手产品系列可以如人手操作那般完美地完成抓取操作。电子装置完全集成于腕关节中，使五指机械手几乎可以完成所有的人体手部动作。凭借带有9个驱动器的运动指骨，机械手可高精度地 执行多种抓取操作。富有弹性的抓取表面确保了对物体的可靠抓取。除了开启抓取和操作任务的全新领域之外，雄克还为在五指机械手的手势基础上进行人与机器人的交流开创了无限可能。编辑切换为居中添加图片注释，不超过 140 字（可选）产品特点：机械手有左手或右手两种版本适合移动应用耗能低，使用 24 V DC 在腕关节处完整集成了控制、调节

ShannonTech的博客 1331

ESP32-CAM与Thonny的完美搭配：从烧录到通信的完整流程

本文详细介绍了如何将ESP32-CAM与Thonny IDE完美结合，从固件烧录到通信测试的完整流程。通过硬件连接、MicroPython固件烧录、Thonny环境配置以及摄像头功能开发等步骤，帮助开发者快速搭建高效的物联网开发环境，实现图像采集与无线通信功能。

tomato的博客 1122

Spark单机伪分布式环境搭建、完全分布式环境搭建、Spark-on-yarn模式搭建

本文详细的写有：Spark伪分布式环境搭建、Spark完全分布式环境搭建、Spark-on-yarn模式环境搭建、Scala环境搭建的详细步骤

遇安的博客 3521

正版63棋牌源代码游戏+728游戏全套带前端源代码解析

这俩天抽时间仔细看了一下这套项目包含完整的前端、后端及后台管理系统。从上传的截图可以看出，前端基于资源目录，后端采用和，后台管理界面提供数据查询与管理功能。本篇文章将从前端结构、后端接口、数据库设计、常见 BUG 及优化方法等方面逐步拆解，并给出相应的代码示例和实践经验。

aa2031171的博客 3571

Spark集群的搭建

（2）配置Workers文件。复制Workers.template文件并重命名为Workers，打开Workers文件删除原有内容，并添加如下代码，每一行代表一个子节点的主机名，这里的workers文件名为，slaves.template。（3）进入Spark的/conf目录下，复制spark-env.sh.template文件并重命名为spark-env.sh。(7)通过命令jps查看进程，开启Spark集群后，master节点增加了Master进程，而子节点则增加了Worker进程。

qq_74137843的博客 2332

（一）PyBullet机器人仿真入门：从环境搭建到实例解析

本文详细介绍了PyBullet机器人仿真平台从零开始的完整入门指南。内容涵盖环境搭建、官方示例解析、核心操作（连接、世界与模型）、关节控制与状态读取，以及碰撞检测、传感器模拟等高级功能，帮助读者快速掌握这一强大的机器人仿真工具。

weixin_29062865的博客 1364

【4. BSP开发指南 - [4.6. 安全启动使用说明]】

【4. BSP开发指南 - [4.6. 安全启动使用说明]】

Sugar_wolf的博客 271

搭建伪分布式并安装scale和spark

1.查看id 地址2、 关闭防火墙命令来关闭防火墙命令查看当前防火墙状态3、 修改主机名、 添加主机映射修改虚拟机hosts文件，将ip地址添加进来能ping通就修改成功4、 设置免密（这里是伪分布式不是完全分布式，只需要能免密自己，此步骤也可以忽略）○1打开SSH远程登录配置文件sshd_config然后重启服务○2生成密钥回车四下○3authorized_keys文件存放自己和目标的公钥,要自己手动复制文件，命令如下：修改文件"authorized_keys权限。

2201_75814502的博客 1238

OpenCASCADE：Direct3D CSharp 示例

OpenCASCADE：Direct3D CSharp 示例OpenCASCADE：Direct3D CSharp 示例 OpenCASCADE：Direct3D CSharp 示例 此示例演示了如何在使用CSharp和Windows Presentation Foundation (WPF)编写的.Net应用程序中使用 OCCT 和 DirectX 库。 .Net、OCCT (C++) 和 DirectX 级别之间的连接由用 C++/CLI 编写的代理库OCCProxy和D3DProxy提供。代理库OCC

希望我的博客，能帮上你解决学习中工作中所遇到的问题 1824

spark在伪分布式和完全分布式的配置

Hadoop伪分布式下安装配置Spark 1.安装并配置Spark tar xzvf 解压spark压缩包 vim /etc/profile 配置spark环境变量 2.配置spark-env.sh文件(先cp复制一份修改重命名后缀) cp /opt/spark/conf/spark-env.sh.tempalte /opt/spark/conf/spark-env.sh vim /opt/spark/conf/spark-env.sh 增加内容: export JAVA_HOME=/opt/jd

番茄Salad 680

OsgEarth —— 笔记1 - 创建地球的earth文件

效果         正文      1、准备一张全球的渲染图（tif格式）、一张全球的高程图（tif格式）        2、创建并编写.earth文件           在步骤1目录下创建china-simple.earth，并将如下内容写入。 <map name="Globe" type="geocentric" version="2"> <!-- 全球影像图 --> <image name="GlobeImage" driver="gdal"> &l

7681

手把手教你学 Simulink (1.3)：探索Simulink模块库的奇妙世界

Simulink模块库按照功能分为多个类别，每个类别包含专门用于特定任务的模块。% 打开Simulink库浏览器% 或者以编程方式获取库列表disp('可用的库列表:');end常用模块(Simulink)：最基础和最常用的模块信号处理模块(DSP System Toolbox)：专业信号处理工具通信模块(Communications Toolbox)：通信系统设计控制系统模块(Control System Toolbox)：控制系统设计与分析% 创建自定义模块库。

QQ_778132974的博客 381

Ubuntu安装spark（伪分布式）

首先下载spark安装包到主机，2.4.0版本的spark我是在林子雨老师分享的网盘中下的 该网址里有讲到http://dblab.xmu.edu.cn/blog/2441-2/ # 解压 sudo tar -zxvf spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/ cd /usr/lcoal # 改名 sudo mv spark-2.4.0-bin-without-hadoop.tgz spark # 设置文件所有者和所有组，我的主机名是zhong su

名狱的博客 832

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Spark【一】简介及完全分布式安装

Spark简介及完全分布式安装初识Spark为什么使用SparkSpark优势完全分布式安装及启动启动命令 初识Spark 为什么使用Spark MapReduce编程模型的局限性 繁杂 只有Map和Reduce两个操作，复杂的逻辑需要大量的样板代码 处理效率低 Map中间结果写磁盘，Reduce写HDFS，多个Map通过HDFS交换数据 任务调度与启动开销大 不适合迭代处理、交互式处理和流式处理 Spark是类Hadoop MapReduce的通用并行框架 Job中间输出结果可

weixin_42487460的博客 641

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0， 兼容Win7/Win10/WinXP，解压就可用。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

搭建Spark伪分布式环境

测试能否ping通百度 - 测试能否ping通百度 - 测试能否ping通百度 - 查看主机映射配置文件 查看主机映射配置文件 查看主机映射配置文件 五）关闭与禁用防火墙 1、了解相关命令 （1）关闭防火墙命令 systemctl stop firewalld （2）禁用防火墙命令 systemctl disable firewalld （3）查看防火墙状态 systemctl status firewalld 2、关闭与禁用防火墙 （1）关闭与禁用master虚拟机防火墙 关闭防火墙

snow703323的博客 857

Camera2Demo

在Camera2 的基础上进行封装，使得Camera2一堆初始化逻辑与Activity分离，降低耦合度，完成预览拍照并保存的操作

spark python3_python3，hadoop，spark安装搭建流程小记

Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。centos_7系统安装Python3当前系统自带默认安装的python版本为2.7...

weixin_39844515的博客 307

手把手教你搭建：基于OpenEuler的Hadoop + Spark完全分布式集群（超百张图+测试+源码）

🚀 基于国产操作系统 OpenEuler 的大数据实战！图文并茂，超百张高清截图辅助理解，细节不遗漏。本篇文章详尽记录了如何在最新的 OpenEuler LTS 系统上，从零开始搭建 Hadoop 和 Spark 的完全分布式集群。全流程涵盖环境准备、系统配置、各节点部署、运行测试，并使用了Hadoop 和 Spark 的最新稳定版本。

. 1678
上一篇： redis 事务，与memocache的区别和持久化
下一篇： 面试怡丰云智记录
点赞 0
评论 0
书签 书签 1
默默谦行
默默谦行
博客等级 码龄7年 5粉丝 29原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值