Spark Standalone模式安装

最新推荐文章于 2025-04-23 16:00:36 发布
原创 最新推荐文章于 2025-04-23 16:00:36 发布 · 286 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #hadoop

本文详细介绍如何在CentOs 7.5环境下安装Spark 2.3.1，并配置其与Hadoop 2.7.3协同工作。通过创建用户、设置环境变量等步骤完成安装流程，最终实现Spark的单机运行。

CentOs下安装Spark：

安装环境：
Linux：CentOs 7.5
Spark：2.3.1
Hadoop：2.7.3
下载：
Spark：http://spark.apache.org/downloads.html
本文选择版本：
https://archive.apache.org/dist/spark/spark-2.3.1/
在这里插入图片描述

安装：

  1. 新建分组机用户
## 新建用户
useradd hadoop
## 设置密码
passwd hadoop
## 切换到hadoop用户
su - hadoop
mkdir hd
cd hd
## 解压上传的安装文件
tar zxvf spark-2.3.1-bin-hadoop2.7.tgz
mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1
cd spark-2.3.1
## 修改文件权限
chmod 775 * -R
## 修改配置
cd conf/
cp spark-env.sh.template spark-env.sh

2.修改配置文件
在spark-env.sh中添加 环境变量

export JAVA_HOME=/home/hadoop/hd/jdk1.8.0_144
export SPARK_MASTER_IP=localhost
export SPARK_WORK_MEMORY=1g
## hadoop安装的目录, hadoop安装参考hadoop的伪分布式安装步骤
export SPARK_CONF_DIR=/home/hadoop/hd/hadoop-2.7.3/etc/hadoop
## 如果需要使用Scala还可以加入Scala的环境变量
  1. 启动spark
sbin/start-all.sh

  1. jps查看进程
    进程查看结果

  2. 执行pyspark 命令

bin/pyspark

在这里插入图片描述
至此，Spark单机版安装成功。

SparkUI访问

访问已安装的SparkUI：http://192.168.134.133:8080/

SparkUI

《大数据： Spark Standalone 模式》
yexiang优快云的专栏
11-04 363
一、Standalone 模式 构建一个由 Master + Slave 构成的 Spark 集群，Spark 运行在集群中 这个要和 Hadoop 中的 Standalone 区别开来. 这里的 Standalone 是指只用 Spark 来搭建一个集群, 不需要借助其他的框架.是相对于 Yarn 和 Mesos 来说的 1. 拷贝一份作为Standalone 模式 yexiang@hadoop2:<soft>$ cp spark-211-hdp2.7 spark-standalon.
Standalone模式的Spark集群的安装部署【详细教程】
qq_63834914的博客
10-05 1828
Apache Spark作为当下最流行的大数据处理框架之一，凭借其高效的内存计算和丰富的API接口，广泛应用于实时数据处理、机器学习和图计算等领域。对于初学者和开发者而言，快速搭建一个Spark集群是进行学习和实验的重要步骤。在众多部署模式中，独立模式（Standalone）是最为简单和直观的一种。它不需要依赖其他资源管理器（如Hadoop YARN或Mesos），只需几台机器即可轻松搭建一个完整的Spark集群。这种模式非常适合用于学习、测试和小规模生产环境。
Spark的安装（Standalone模式，高可用模式，基于Yarn模式）
徐磊的博客
02-16 2011
@[TOC] spark安装 作者： ℡XSs???? 一、spark的Standalone模式安装 1、将spark-2.2.0-bin-hadoop2.7.tgz 上传到/usr/local/spark/下，然后解压 -C 是用大写C解压到指定目录 2、进入到conf中修改名字改为 .sh结尾的 3、编辑spark-env.sh ...
Spark 2.4.0 standalone 模式安装
chongqueluo2709的博客
12-15 591
Spark 2.4.0 standalone 模式安装 视频 Spark 2.4.0 standalone 模式安装(bilibili视频) : https://www.bilibili.com/video/av38193405/?p=1 <iframe width="800" h...
Spark Standalone安装
qq_43533693的博客
12-06 261
伪分布式安装 实现原理 Local cluster伪分布式模式，实际是在SparkContext初始化的过程中，在本地启动一个所有服务都在单机上运行的伪分布Spark集群，所以从部署的角度来说无须做任何准备工作。以SparkPi为例，伪分布式模式下的应用程序的启动命令的示例如下： ./bin/run-example org.apache.spark.examples.SparkPi local-c...
Spark实验：Standalone模式安装部署（带答案）1
08-03
【Spark Standalone模式安装部署详解】 Spark是一款快速、通用且可扩展的大数据处理框架，它提供了高效的批处理、交互式查询、流处理等多种计算模式。在Standalone模式下，Spark可以独立于任何分布式资源管理系统...
Spark安装部署：Standalone模式
一顿吃不饱的博客
11-11 4327
Spark安装部署：Standalone模式 1、实验描述 以spark Standalone的运行模式安装Spark集群 实验时长： 45分钟 主要步骤： 解压安装Spark 添加Spark 配置文件 启动Spark 集群 运行测试用例 2、实验环境 虚拟机数量：3(一主两从，主机名分别为：master、slave01、slave02) 系统版本：Centos 7.5 Hadoop版本：Apache Hadoop 2.7.3 Spark版本：Apache Spark 2.1.1 3、相
【Spark集群部署系列二】Spark StandAlone模式介绍和搭建以及使用
qq_65231448的博客
08-12 1624
【Spark集群部署系列一】Spark local模式介绍和搭建以及使用（内含Linux安装Anaconda)http://t.csdnimg.cn/0xmky 在部署spark集群前，请部署好Hadoop集群，jdk8【当然Hadoop集群需要运行在jdk上】，需要注意hadoop，spark的版本，考虑兼容问题。比如hadoop3.0以上的才兼容spark3.0以上的。 下面是Hadoop集群部署的链接，个人笔记，已经成功部署两次了，实时更新，分【一】【二】两部分，需要的自己看。不懂欢迎问，看到了解答。
Spark 集群搭建：Standalone 模式详解
2301_80870395的博客
04-23 1053
通过以上步骤，我们成功搭建了一个 Spark Standalone 集群。这个集群为大数据处理提供了一个高效的计算平台。在实际应用中，我们可以根据业务需求进一步优化集群配置，如调整内存分配、增加节点数量等，以满足大规模数据处理的要求。同时，也要定期对集群进行维护和监控，确保其稳定运行。希望这篇博客能帮助你顺利搭建起自己的 Spark 集群，开启大数据处理之旅！如果你在搭建过程中遇到任何问题，欢迎在评论区留言交流。
Spark环境搭建之standalone模式安装
森屿旅人996的博客
07-12 498
Standalone模式: 即构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。 standalone模式安装 spark安装包下载地址官网下载链接 1.上传并解压spark安装包,改文件夹名称，便于使用 [hadoop@hrbu30 ~]$ tar -zxvf spark-2.4.6-bin-hadoop2.7.tgz -C /opt/wdp/ [hadoop@hrbu30 wdp]$ mv spark-2.4.6-bin-hadoop2.7 spark 2.进入spar
spark-standalone安装教程
m0_48379126的博客
10-21 735
安装环境：CentOS-7、jdk 软件版本：spark-2.3.4-bin-hadoop2.6 资源路径：百度网盘 请输入提取码 提取码：zzzz 1、将安装包上传到 /opt 目录下 2、解压安装包 tar -zxvf spark-2.3.4-bin-hadoop2.6.tgz -C soft/spark234/ --strip-components 1 3、将 /opt/soft/spark234/conf/slaves.template 拷贝一份改名为slaves，并编辑 cp..
【十九】Spark安装（standalone模式）
Sid小杰的博客
07-24 1090
【一】基于Ubuntu16.04环境编译Spark源码及安装 先确定已经编译好了源码，并且安装好了local模式。(每台机器都要安装) node1 Master node2 worker node3 worker node4 worker cd /app/spark/spark-2.2.0-bin-2.9.0/conf cp spark-env.sh....
【原】Spark Standalone模式
weixin_30780221的博客
01-05 324
SparkStandalone模式 安装SparkStandalone集群 手动启动集群 集群创建脚本 提交应用到集群 创建Spark应用 资源调度及分配 监控与日志 与Hadoop共存 配置网络安全端口 高可用性 基于Zookeeper的Master 本地系统的单节点恢复 除了运行在mesos或yarn集群管理器中，spark也提供了简单的sta...
spark Standalone
weixin_30622181的博客
11-08 218
Spark Standalone Spark Standalone模式中，资源调度是Spark框架自己实现的，其节点类型分为Master节点和Worker节点，其中Driver运行在Master节点中，并且有常驻内存的Master进程守护，Worker节点上常驻Worker守护进程，负责与Master通信，通过ExecutorRunner来控制运行在当前节点上的C...
【Spark】一、Standalone模式安装
leonia1996的博客
02-04 325
1、准备虚拟机三台：master、slave01、slave02 （一台成熟的虚拟机可供拷贝：已安装好jdk1.8及以上） vim /etc/udev/rules.d/70-persistent-net.rules；删除eth0，修改eth1为eth0，复制物理ip地址【HWADDR】； vim /etc/sysconfig/network-scripts/ifcfg-eth0；修改物理ip...
Spark的Standalone模式安装部署
cihongmo6452的博客
06-04 260
Spark运行模式 Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Y...
standalone 模式安装
大数据技术分享
12-02 1256
spark-1.6.0-cdh5.15.0 standalone 模式安装   更多资源 github: https://github.com/opensourceteams/spark-scala-maven csdn(汇总视频在线看): https://blog.youkuaiyun.com/thinktothings/article/details/84726769   前置条...
安装Spark的Standalone模式
最新发布
06-07
### Spark Standalone模式安装配置教程 在Standalone模式下安装和配置Spark，需要确保系统环境已经准备好，并按照以下内容逐步完成操作。以下是详细的安装与配置指南[^1]。 #### 1. 系统环境准备 确保所有节点（包括Master和Worker）已正确安装以下组件： - Java Development Kit (JDK)：推荐版本为8或11。 - Scala（可选，通常Spark自带Scala库）。 - Hadoop（如果需要与HDFS集成，则需安装并配置Hadoop集群）。 检查Java版本是否正确： ```bash java -version ``` #### 2. 下载并解压Spark软件包 从Apache官网下载适合的Spark版本，并将其上传至目标服务器。使用以下命令解压软件包： ```bash tar -zxvf spark-<version>-bin-hadoop<version>.tgz ``` 将解压后的文件移动到合适的位置，例如`/opt/spark`： ```bash mv spark-<version>-bin-hadoop<version> /opt/spark ``` #### 3. 配置环境变量 编辑`~/.bashrc`文件，添加以下内容以设置Spark的环境变量： ```bash export SPARK_HOME=/opt/spark export PATH=$SPARK_HOME/bin:$PATH ``` 使配置生效： ```bash source ~/.bashrc ``` #### 4. 配置Spark Master和Worker 进入Spark的配置目录： ```bash cd $SPARK_HOME/conf ``` ##### 4.1 配置`spark-env.sh` 复制模板文件并编辑： ```bash cp spark-env.sh.template spark-env.sh ``` 在`spark-env.sh`中添加以下内容以指定Java路径和其他环境变量： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export SPARK_MASTER_HOST=master ``` ##### 4.2 配置`slaves`文件 复制模板文件并编辑： ```bash cp slaves.template slaves ``` 在`slaves`文件中列出所有Worker节点的主机名或IP地址，例如： ``` worker1 worker2 worker3 ``` #### 5. 启动Spark集群 启动Master节点： ```bash $SPARK_HOME/sbin/start-master.sh ``` 启动Worker节点： ```bash $SPARK_HOME/sbin/start-slave.sh spark://master:7077 ``` 验证集群状态，访问Master节点的Web UI（默认端口为8080）： ``` http://<master-ip>:8080 ``` #### 6. 提交任务 使用`spark-submit`命令提交任务[^2]。例如： ```bash spark-submit --class org.apache.spark.examples.SparkPi \ --master spark://master:7077 \ --executor-memory 512m \ --total-executor-cores 1 \ $SPARK_HOME/examples/jars/spark-examples_2.12-3.1.3.jar 100 ``` ### 注意事项 - 确保所有节点之间能够通过主机名互相通信。 - 如果防火墙启用，请开放必要的端口（如7077、8080等）[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值