Spark【安装篇】01：Spark【单机】【手动】安装部署

已于 2025-06-10 09:49:15 修改
阅读量690 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据工程师的成长之路 Spark 文章标签： scala spark hadoop
于 2022-03-08 09:36:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40612128/article/details/123322985
本文介绍了Spark在单机环境下的部署，包括standalone模式和on YARN模式，虽然集群部署方式类似，但具体步骤将在Spark集群安装部署部分详细阐述。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spark 单机和集群环境部署教程
qq_42568323的博客
08-07 2065
通过以上步骤，我们成功部署了 Spark 单机和集群环境，并实现了一个简单的 Word Count 应用。Spark 提供了强大的分布式计算能力，可以处理大规模数据，并支持多种编程语言。
Spark Standalone 单机版部署
10-17
Spark standalone 单机版部署，看了网上很多方法，事实证明都是错误的，本人亲身经历，在导师的指导下，成功配置成功单机版。
Spark 单机部署
GIS摆渡人
12-24 419
0. spark 下载解压 wget http://mirrors.cnnic.cn/apache/spark/spark-2.0.1/spark-2.0.1-bin-hadoop2.6.tgz tar -zxvf spark-2.0.1-bin-hadoop2.6.tgz 1. scala配置 https://www.scala-lang.org/download/2.11.8.h...
Spark 单机模式部署与启动
最新发布
微信公众号: 后端码匠
06-03 852
本文详细介绍了在Linux环境下部署Spark单机模式的完整流程。首先需准备Hadoop 3.1.1、Java 8+等基础环境，下载并解压Spark 3.1.2版本安装包到指定目录。接着配置环境变量，通过start-master.sh和start-worker.sh命令启动Spark服务，验证时可访问8080端口查看Master状态页面或运行spark-shell进行测试。文章还提供了防火墙端口配置建议及完整的服务启停命令。整个部署过程简明清晰，各步骤均配有详细说明，适合初学者快速搭建Spark单机开发环境
spark单机部署
qq_27130997的博客
07-05 437
2 下载 wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz 3 解压 tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz 4 配置环境变量 vim /etc/profile SPARK_HOME=/APP/spark-2.4.5-bin-hadoop2.7 PATH=$PATH:$JAVA_HOME/bin:$SPARK_HOME/bin export
02搭建Spark单机环境2
qq_56244269的博客
03-14 3160
一、在三台虚拟机上面安装lrzsz 1.在master虚拟机上面安装： yum -y install lrzsz （同理，在slave1与slave2一样安装） 二、在三台虚拟机上安装配置jdk 在master虚拟机上面安装配置jdk 上传Java安装包 当上传不行的时候 进入vim配置 使用解压命令： tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local 生成目录opt 使用命令：vim /etc/profi...
01-spark单机安装部署、分布式集群与HA安装部署+spark源码编译
IT晓白
01-25 650
spark单机安装部署 1.安装scala 1.下载：wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz 2.解压：tar -zxvf scala-2.11.12.tgz -C /usr/local 3.重命名：mv scala-2.10.5/ scala 4.配置到环境变量： export SCALA_HOME...
安装Spark-单机部署,Standalone集群部署,Spark on Yarn实现
weixin_58305115的博客
10-07 2041
SparkSession也是Spark程序中的一个类，功能类似于SparkContext，Spark2.0以后推出的，如果Hadoop生态的程序，例如MR、Hive、Sqoop、Oozie等使用YARN来计算。2-存储实时工具元数据。资源管理和任务调度：将所有从节点的资源在逻辑上合并为一个整体，将任务分配给不同的从节点。使用自己所在节点的资源运行计算进程Executor：给每个计算进程分配一定的资源。YARN支持多种类型程序的运行：MR、Tez、Spark、Flink等。
Spark部署指南：从单机到集群
7. 通过SSH部署集群：这种方式适用于手动配置多台机器的Spark集群，需要在每台机器上安装和配置Spark，然后通过SSH连接启动集群。 在安装Spark之前，需要获取合适的Spark版本，可以从官方下载页面获取预编译的二...
Spark的集群环境部署
xieyichun_的博客
10-31 1535
分享了spark的两个集群模式的配置方法
Spark Standalone部署指南： CentOS 7下的配置与操作
"Spark Standalone官方文档翻译，涵盖了Spark单机模式的安装、启动、集群配置、应用提交、资源调度、监控与日志、与Hadoop集群共存、网络安全端口配置以及高可用性（HA）等内容。" Spark Standalone模式是Spark的一...
Spark单机部署
浪灬迹-红尘少年的博客
03-05 945
spark版本选型： spark2.1.2。依赖scala2.11.8；说明：在这里可以根据自己的需要去官网下载spark版本，spark版本下面会有scala版本依赖说 明；根据需要下载。 spark解压安装： 上传spark安装包 $cd /home/spark/soft （spark安装包存在路径） $>tar -zxvf spark-2.1.2-bin-hadoop2....
Spark笔记整理（一）：spark单机安装部署、分布式集群与HA安装部署+spark源码编译...
weixin_34214500的博客
04-24 173
[TOC] spark单机安装部署 1.安装scala 解压：tar -zxvf soft/scala-2.10.5.tgz -C app/ 重命名：mv scala-2.10.5/ scala 配置到环境变量： export SCALA_HOME=/home/uplooking/app/scala export PATH=$PATH:$SCALA_HOME/bin # 虽然spark本身自带s...
spark-单机部署（三）
weixin_45025143的博客
11-18 3187
Spark的windows、linux单机部署 1、windows单机部署   相信大多数同学用的都是windows系统，没错，我也是windows系统，主要是因为公司电脑安装了深信服的办公软件，但是这个不支持linux系统，所有我们公司都强制被使用win10。为了调试方便，还是习惯在电脑上装上单机Spark，好在Spark也支持win10。 废话不多说，我们开始哈。。。 1.1、安装Java环境   这里我们安装Java8，哎，这会是不是有同学问了现在Java15都有了我们为啥还用Java8了？❓❓❓
单机版Spark环境部署指南
2301_80318716的博客
09-05 464
从Apache Spark的官方网站下载Spark软件包：选择3.5.0版本。
Spark02——Spark集群安装部署
Fenggms的博客
09-26 406
Spark集群搭建集群安装1.1 下载Spark安装包1.2 上传并解压安装包1.3 可选择重命名解压后的安装目录1.4 修改配置文件修改配置文件spark-env.sh修改配置文件slaves1.5 拷贝安装包到其他主机1.6 配置spark环境变量1.7 spark启动1.8 停止spark1.9 spark的web界面 集群安装 本集群搭建为三台虚拟机，分别在hosts中命名为node01,...
Spark2.0 详细部署过程
qq_43556883的博客
12-20 1803
Spark集群部署 1 Hadoop集群搭建 环境 Ubuntu 64位作为系统环境，Hadoop为2.6稳定版，主机有三台，分别是Master（192.168.104.87），Slave1（192.168.104.84），Slave2（192.168.104.85）。 流程步骤 在Master节点上配置Hadoop用户，Java环境。 在Master节点上部署Hadoop。 在Slave1、Slave2节点上重复1步骤。 三个节点互相免密登陆。 将Master节点上的Had
spark单机环境安装
laughing1997的博客
10-18 1055
Ubuntu16.04以上 Hadoop 2.7.1以上 Java JDK 1.7以上 Spark 2.1.0 1、安装好jdk 2、解压spark文件 tar -xvf spark-2.0.1-bin-hadoop2.7.tgz 3、进入安装文件 cd conf 修改配置文件 复制conf spark-env.sh.template 文件为 spark-env.sh 在其中修改，增加如下内容 ...
搭建Spark单机版环境
m0_59791585的博客
06-16 2558
3
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

做一个有趣的人Zz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值