Spark单机配置（linux版）

最新推荐文章于 2024-12-01 16:14:26 发布
原创 最新推荐文章于 2024-12-01 16:14:26 发布 · 1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文详细介绍了如何在单机模式下安装Scala和Spark。首先，通过下载并解压Scala压缩包，然后配置环境变量。接着，验证Scala安装是否成功。之后，解压Spark并同样配置环境变量，修改启动变量文件，设置Java、Scala路径及本地主机IP等。最后，启动Spark并使用jps验证其运行状态。

文章目录

scala安装

本文中所有软件都以单机模式配置，提供测试学习使用

一、软件解压

cd /usr/local/soft/

  1. 下载压缩包

https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.tgz

  1. 解压

​ tar -zxvf scala-2.13.1.tgz

  1. 重命名

    mv scala-2.13.1 scala

二、配置环境变量

*export SCALA_HOME=/usr/local/soft/scala*

*export PATH= P A T H : PATH: PATH:SCALA_HOME/bin*

三、验证

scala -version

Spark安装

一、解压

cd /usr/local/soft/

tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz

二、添加环境变量

*export SPARK_HOME=/usr/local/soft/spark-2.1.0-bin-hadoop2.7*

*export PATH= P A T H : PATH: PATH:SPARK_HOME/bin*

三、修改启动变量文件

cd /usr/local/soft/spark-2.1.0-bin-hadoop2.7/conf/

vim spark-env.sh

*export JAVA_HOME=/usr/local/soft/jdk1.8.0_11*

*export SCALA_HOME=/usr/local/soft/scala-2.11.8*

*export SPARK_MASTER_IP=localhost*

*export SPARK_WORKER_MEMORY=1G*

四、启动Spark

cd /usr/local/soft/spark-2.1.0-bin-hadoop2.7/

sbin/start-all.sh

在这里插入图片描述

五、验证

jps
在这里插入图片描述

Spark 单机和集群环境部署教程
qq_42568323的博客
08-07 2194
通过以上步骤，我们成功部署了 Spark 单机和集群环境，并实现了一个简单的 Word Count 应用。Spark 提供了强大的分布式计算能力，可以处理大规模数据，并支持多种编程语言。
安装Spark-单机部署,Standalone集群部署,Spark on Yarn实现
weixin_58305115的博客
10-07 2132
SparkSession也是Spark程序中的一个类，功能类似于SparkContext，Spark2.0以后推出的，如果Hadoop生态的程序，例如MR、Hive、Sqoop、Oozie等使用YARN来计算。2-存储实时工具元数据。资源管理和任务调度：将所有从节点的资源在逻辑上合并为一个整体，将任务分配给不同的从节点。使用自己所在节点的资源运行计算进程Executor：给每个计算进程分配一定的资源。YARN支持多种类型程序的运行：MR、Tez、Spark、Flink等。
Linux系统安装单机版Spark
01-09
背景 最近要开发智能推荐引擎，后期系统需要搭载在Spark集群上，前期要开发相关脚本，需要一个测试环境，所以向公司申请了一台主机，平台是Linux，操作系统CentOS，背景交代完毕，现在需要在单机Linux主机上部署Spark。 准备： JDK：1.8 Spark：2.4.5 Linux系统平台：本文所用Linux版本为CentOS 7 步骤 第一步：下载并解压JDK 首先去Oracle官网现在JDK压缩包 官网下载地址 我选择的版本是jdk-8u241-linux-x64.tar.gz 下载完成后上传到Linux服务器下，新建一个文件夹software，然后解压压缩包。 解压的Linux命
Linux部署Spark 本地模式
an13654067079的博客
11-07 1125
Linux部署
spark-单机部署（三）
weixin_45025143的博客
11-18 3244
Spark的windows、linux单机部署 1、windows单机部署   相信大多数同学用的都是windows系统，没错，我也是windows系统，主要是因为公司电脑安装了深信服的办公软件，但是这个不支持linux系统，所有我们公司都强制被使用win10。为了调试方便，还是习惯在电脑上装上单机Spark，好在Spark也支持win10。 废话不多说，我们开始哈。。。 1.1、安装Java环境   这里我们安装Java8，哎，这会是不是有同学问了现在Java15都有了我们为啥还用Java8了？❓❓❓
Linux中进行单机spark的安装配置
一起记录GIS学习
12-24 315
首先下载和hadoop同样版本的spark 然后进行解压 进行环境变量的配置： source 使之生效： 进行spark-env.sh 的配置： 进入到conf中，没有spark-env.sh的进行复制下面的那个模板 cp -r /home/tools/spark-2.2.0-bin-hadoop2.6/conf/spark-env.sh.template /home/tools/spark-2.2.0-bin-hadoop2.6/conf/spark-env.sh ex
Linux下安装单机版Spark并使用scala和python
小白白的博客
11-02 3727
（作者：陈玓玏） 只学习spark，还不学分布式的时候，可以先单机装spark，这时候不需要用到hadoop的，但是仍然需要java环境，所以要先安装java的jdk。 1、 下载并安装java jdk： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 地址，下载 一样的位置，...
linux环境不使用hadoop安装单机版spark的方法
09-15
在Linux环境中，不依赖Hadoop安装单机版Spark是一种常见的实践，特别是对于学习和测试Spark功能的初学者或者小型项目而言。本篇文章将详细介绍如何在不使用Hadoop的情况下，在Linux系统上安装和配置Spark。 首先，...
【大数据处理】Apache Spark在Linux系统的安装与使用指南：涵盖单机与集群模式配置及常用命令
04-24
内容概要：本文详细介绍了 Apache Spark 在 Linux 系统上的安装与使用方法，包括单机模式和集群模式的配置步骤。首先，文章列出了系统要求和安装依赖项，如 Java 和 Python。接着，逐步指导用户下载、解压并配置 ...
Linux（基于CentOS7）单机版Spark环境搭建
weixin_45973206的博客
03-19 7029
Linux（基于CentOS7）单机版Spark环境搭建
Linux 安装 Spark (单机版)
FBB360JAVA的博客
02-26 1975
前言 首先需要安装好 JDK 和 Hadoop 。 参考： Linux 安装 JDK（图文教程） Hadoop 集群搭建详细步骤 下载与解压 官网下载 解压： 在 Linux 目录 /usr/spark 下进行解压： 使用命令tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz 即可。 配置环境变量 [root@centos2020 spark]# vim /etc/pr...
Linux环境下Spark单机部署安装经验分享（已经安装了Hadoop）
m0_74130148的博客
12-01 1515
sudo cp -r /home/xxx/spark-2.4.0-bin-without-hadoop /home/xxx/spark”将整个spark-2.4.0-bin-without-hadoop/ 文件夹复制到/home/xxx/spark目录下。“sudo tar -zxf /home/xxx/spark-2.4.0-bin-without-hadoop.tgz”（地址改成你自己的），之后会生成一个名为spark-2.4.0-bin-without-hadoop的文件夹。环境变量已正确设置。
linux安装spark安装（详解版-单机/伪分布）
qq_46138492的博客
01-07 2439
linux安装spark安装（详解版-单机/伪分布）
Spark在Linux安装的单机--集群的不同安装模式步骤
大黑牛的博客
08-27 422
本文包含三种模式安装：单机、Standalone、Yarn等 一、单机模式 1).下载spark2.1.2.tar.gz 2).解压安装： $>cd /home/hyxy/soft/ $>cp /mnt/hgfs/2.安装环境/download/apache-spark/spark-2.1.2-bin-hadoop2.7...
搭建Linux环境下的Spark环境
小菜菜的博客
09-15 421
一、准备 1、系统：ubuntu 2、 安装包：Spark2.3.3+Java8+Scala2.11 二、步骤 1、官网下载Spark 安装包spark-2.3.3-bin-hadoop2.7.tgz 2、官网下载scala安装包scala-2.11.12.tgz 3、官网下载JDK安装包jdk-8u201-linux-x64.tar.gz 4、Spark相关配置 4.1安装SSH，附代码以及截图 sudo apt-get update sudo apt-get install openssh-server
Spark环境搭建部署全流程（Linux），看这一篇就够了
Rain_2021245488的博客
08-09 1811
本篇文章将给各位展示如何快速地在linux上搭建spark，本文搭建的环境为以下是我总结出的，如果是新手，请按流程走完，如果是有过搭建经验的，可根据所需点击相应链接。
Spark简介及linux环境搭建（local本地模式）
weixin_43078114的博客
08-04 1483
Spark是用于大规模数据处理的统一分析引擎。
Spark单机配置
w271255278的专栏
03-14 3391
接上篇：hadoop单机配置 1、配置scala 1)添加环境变量 vi /etc/profile export CLASS_HOME=/usr/jdk-11.0.10+9/lib 2、配置spark 1)添加环境变量 export SPARK_HOME=/usr/spark-3.2.0-bin-hadoop3.2-scala2.13 export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/...
Spark2.1.0安装与配置（单机版）
WQS
07-25 2244
该安装教程是承接Spark源码编译B站教程所制，因此所使用的安装包是在Spark源码编译教程中得到文件以及官网的，其实两个文件的功能几乎相同。关于为什么进行Spark源码编译，主要是因为个人喜好，编译在个人看来只是一种体验。下载官网https提供的安装包，毕竟是官方的，会可靠点，其中有without-hadoop和hadoop2.x或hadoop3.x的，是含hive支持的，是不含hive支持的，含支持的编译命令与自定义编译的命令是相同的（除了hadoop版本，可查看安装包文件中根目录的文件）......
spark单机配置部署
最新发布
04-29
### 单机环境下配置和部署Spark的指南 #### 1. 准备工作 在开始配置前，确保已经具备以下条件： - 安装了支持的操作系统（如Linux发行版Ubuntu、CentOS等）。 - 已经安装并配置好JDK环境，推荐版本为Java 8及以上。 #### 2. JDK 的安装与配置 如果没有预先安装JDK，可以按照以下步骤进行安装和配置： ##### (a) 下载JDK压缩包 访问Oracle官方网站或其他可信源下载对应平台的JDK压缩包。例如对于Linux系统可以选择`.tar.gz`格式文件[^1]。 ##### (b) 解压至指定目录 将下载好的JDK压缩包解压到目标位置，比如`/usr/local/jdk1.8.0_XXX`： ```bash sudo tar zxvf jdk-8uXXXX-linux-x64.tar.gz -C /usr/local/ ``` ##### (c) 设置JAVA_HOME环境变量 编辑`~/.bashrc`或者`/etc/profile`文件，增加如下内容以定义JAVA_HOME路径以及更新PATH变量： ```bash export JAVA_HOME=/usr/local/jdk1.8.0_XXX export PATH=$JAVA_HOME/bin:$PATH ``` 执行source命令使更改生效： ```bash source ~/.bashrc ``` #### 3. Spark 的安装与配置 接下来介绍如何获取并设置Apache Spark框架本身。 ##### (a) 获取Spark分发包 前往官方站点https://spark.apache.org/downloads.html选取预编译版本（Pre-built for Hadoop X.X and later）。假定选择的是`spark-X.Y.Z-bin-hadoopX.X.tgz`。 ##### (b) 将其传输到服务器 借助工具scp或者其他FTP客户端把刚才得到的tgz档案传送到远程机器上的某个临时存储区域。 ##### (c) 展开归档文件 同样采用类似下面这样的方式展开它： ```bash sudo tar xzf spark-X.Y.Z-bin-hadoopX.X.tgz -C /opt/spark/ ``` ##### (d) 调整SPARK_HOME及其他必要参数 如同对待java那样处理spakr home path: ```bash echo 'export SPARK_HOME="/opt/spark"' >> ~/.bashrc echo 'export PATH="$SPARK_HOME/bin:$PATH"' >> ~/.bashrc source ~/.bashrc ``` #### 4. 启动服务 一旦完成了上述所有的准备工作之后就可以轻松地开启我们的第一个应用啦！ 简单测试一下是否能够正常使用scala交互式shell: ```bash spark-shell --master local[4] ``` 这里我们指定了四个线程作为executor cores的数量来进行并发运算演示[^2]. 另外也可以尝试提交内置样例程序spark-pi.jar来估算圆周率π近似值: ```bash $SPARK_HOME/bin/run-example SparkPi 10 ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值