Spark单机配置（linux版）

最新推荐文章于 2024-12-01 16:14:26 发布
原创 最新推荐文章于 2024-12-01 16:14:26 发布 · 1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文详细介绍了如何在单机模式下安装Scala和Spark。首先，通过下载并解压Scala压缩包，然后配置环境变量。接着，验证Scala安装是否成功。之后，解压Spark并同样配置环境变量，修改启动变量文件，设置Java、Scala路径及本地主机IP等。最后，启动Spark并使用jps验证其运行状态。

文章目录

scala安装

本文中所有软件都以单机模式配置，提供测试学习使用

一、软件解压

cd /usr/local/soft/

  1. 下载压缩包

https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.tgz

  1. 解压

​ tar -zxvf scala-2.13.1.tgz

  1. 重命名

    mv scala-2.13.1 scala

二、配置环境变量

*export SCALA_HOME=/usr/local/soft/scala*

*export PATH= P A T H : PATH: PATH:SCALA_HOME/bin*

三、验证

scala -version

Spark安装

一、解压

cd /usr/local/soft/

tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz

二、添加环境变量

*export SPARK_HOME=/usr/local/soft/spark-2.1.0-bin-hadoop2.7*

*export PATH= P A T H : PATH: PATH:SPARK_HOME/bin*

三、修改启动变量文件

cd /usr/local/soft/spark-2.1.0-bin-hadoop2.7/conf/

vim spark-env.sh

*export JAVA_HOME=/usr/local/soft/jdk1.8.0_11*

*export SCALA_HOME=/usr/local/soft/scala-2.11.8*

*export SPARK_MASTER_IP=localhost*

*export SPARK_WORKER_MEMORY=1G*

四、启动Spark

cd /usr/local/soft/spark-2.1.0-bin-hadoop2.7/

sbin/start-all.sh

在这里插入图片描述

五、验证

jps
在这里插入图片描述

Spark 单机和集群环境部署教程
qq_42568323的博客
08-07 2194
通过以上步骤，我们成功部署了 Spark 单机和集群环境，并实现了一个简单的 Word Count 应用。Spark 提供了强大的分布式计算能力，可以处理大规模数据，并支持多种编程语言。
安装Spark-单机部署,Standalone集群部署,Spark on Yarn实现
weixin_58305115的博客
10-07 2132
SparkSession也是Spark程序中的一个类，功能类似于SparkContext，Spark2.0以后推出的，如果Hadoop生态的程序，例如MR、Hive、Sqoop、Oozie等使用YARN来计算。2-存储实时工具元数据。资源管理和任务调度：将所有从节点的资源在逻辑上合并为一个整体，将任务分配给不同的从节点。使用自己所在节点的资源运行计算进程Executor：给每个计算进程分配一定的资源。YARN支持多种类型程序的运行：MR、Tez、Spark、Flink等。
Linux系统安装单机版Spark
01-09
背景 最近要开发智能推荐引擎，后期系统需要搭载在Spark集群上，前期要开发相关脚本，需要一个测试环境，所以向公司申请了一台主机，平台是Linux，操作系统CentOS，背景交代完毕，现在需要在单机Linux主机上部署Spark。 准备： JDK：1.8 Spark：2.4.5 Linux系统平台：本文所用Linux版本为CentOS 7 步骤 第一步：下载并解压JDK 首先去Oracle官网现在JDK压缩包 官网下载地址 我选择的版本是jdk-8u241-linux-x64.tar.gz 下载完成后上传到Linux服务器下，新建一个文件夹software，然后解压压缩包。 解压的Linux命
Linux中进行单机spark的安装配置
一起记录GIS学习
12-24 315
首先下载和hadoop同样版本的spark 然后进行解压 进行环境变量的配置： source 使之生效： 进行spark-env.sh 的配置： 进入到conf中，没有spark-env.sh的进行复制下面的那个模板 cp -r /home/tools/spark-2.2.0-bin-hadoop2.6/conf/spark-env.sh.template /home/tools/spark-2.2.0-bin-hadoop2.6/conf/spark-env.sh ex
Linux下安装单机版Spark并使用scala和python
小白白的博客
11-02 3727
（作者：陈玓玏） 只学习spark，还不学分布式的时候，可以先单机装spark，这时候不需要用到hadoop的，但是仍然需要java环境，所以要先安装java的jdk。 1、 下载并安装java jdk： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 地址，下载 一样的位置，...
Linux（基于CentOS7）单机版Spark环境搭建
weixin_45973206的博客
03-19 7029
Linux（基于CentOS7）单机版Spark环境搭建
Linux 安装 Spark (单机版)
FBB360JAVA的博客
02-26 1975
前言 首先需要安装好 JDK 和 Hadoop 。 参考： Linux 安装 JDK（图文教程） Hadoop 集群搭建详细步骤 下载与解压 官网下载 解压： 在 Linux 目录 /usr/spark 下进行解压： 使用命令tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz 即可。 配置环境变量 [root@centos2020 spark]# vim /etc/pr...
linux环境不使用hadoop安装单机版spark的方法
09-15
在Linux环境中，不依赖Hadoop安装单机版Spark是一种常见的实践，特别是对于学习和测试Spark功能的初学者或者小型项目而言。本篇文章将详细介绍如何在不使用Hadoop的情况下，在Linux系统上安装和配置Spark。 首先，...
【大数据处理】Apache Spark在Linux系统的安装与使用指南：涵盖单机与集群模式配置及常用命令
04-24
内容概要：本文详细介绍了 Apache Spark 在 Linux 系统上的安装与使用方法，包括单机模式和集群模式的配置步骤。首先，文章列出了系统要求和安装依赖项，如 Java 和 Python。接着，逐步指导用户下载、解压并配置 ...
Linux部署Spark 本地模式
an13654067079的博客
11-07 1125
Linux部署
Linux环境下Spark单机部署安装经验分享（已经安装了Hadoop）
m0_74130148的博客
12-01 1515
sudo cp -r /home/xxx/spark-2.4.0-bin-without-hadoop /home/xxx/spark”将整个spark-2.4.0-bin-without-hadoop/ 文件夹复制到/home/xxx/spark目录下。“sudo tar -zxf /home/xxx/spark-2.4.0-bin-without-hadoop.tgz”（地址改成你自己的），之后会生成一个名为spark-2.4.0-bin-without-hadoop的文件夹。环境变量已正确设置。
linux安装spark安装（详解版-单机/伪分布）
qq_46138492的博客
01-07 2439
linux安装spark安装（详解版-单机/伪分布）
spark-单机部署（三）
weixin_45025143的博客
11-18 3244
Spark的windows、linux单机部署 1、windows单机部署   相信大多数同学用的都是windows系统，没错，我也是windows系统，主要是因为公司电脑安装了深信服的办公软件，但是这个不支持linux系统，所有我们公司都强制被使用win10。为了调试方便，还是习惯在电脑上装上单机Spark，好在Spark也支持win10。 废话不多说，我们开始哈。。。 1.1、安装Java环境   这里我们安装Java8，哎，这会是不是有同学问了现在Java15都有了我们为啥还用Java8了？❓❓❓
Spark在Linux安装的单机--集群的不同安装模式步骤
大黑牛的博客
08-27 422
本文包含三种模式安装：单机、Standalone、Yarn等 一、单机模式 1).下载spark2.1.2.tar.gz 2).解压安装： $>cd /home/hyxy/soft/ $>cp /mnt/hgfs/2.安装环境/download/apache-spark/spark-2.1.2-bin-hadoop2.7...
搭建Linux环境下的Spark环境
小菜菜的博客
09-15 421
一、准备 1、系统：ubuntu 2、 安装包：Spark2.3.3+Java8+Scala2.11 二、步骤 1、官网下载Spark 安装包spark-2.3.3-bin-hadoop2.7.tgz 2、官网下载scala安装包scala-2.11.12.tgz 3、官网下载JDK安装包jdk-8u201-linux-x64.tar.gz 4、Spark相关配置 4.1安装SSH，附代码以及截图 sudo apt-get update sudo apt-get install openssh-server
Spark环境搭建部署全流程（Linux），看这一篇就够了
Rain_2021245488的博客
08-09 1811
本篇文章将给各位展示如何快速地在linux上搭建spark，本文搭建的环境为以下是我总结出的，如果是新手，请按流程走完，如果是有过搭建经验的，可根据所需点击相应链接。
Spark简介及linux环境搭建（local本地模式）
weixin_43078114的博客
08-04 1483
Spark是用于大规模数据处理的统一分析引擎。
Spark单机配置
w271255278的专栏
03-14 3391
接上篇：hadoop单机配置 1、配置scala 1)添加环境变量 vi /etc/profile export CLASS_HOME=/usr/jdk-11.0.10+9/lib 2、配置spark 1)添加环境变量 export SPARK_HOME=/usr/spark-3.2.0-bin-hadoop3.2-scala2.13 export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/...
Spark2.1.0安装与配置（单机版）
WQS
07-25 2244
该安装教程是承接Spark源码编译B站教程所制，因此所使用的安装包是在Spark源码编译教程中得到文件以及官网的，其实两个文件的功能几乎相同。关于为什么进行Spark源码编译，主要是因为个人喜好，编译在个人看来只是一种体验。下载官网https提供的安装包，毕竟是官方的，会可靠点，其中有without-hadoop和hadoop2.x或hadoop3.x的，是含hive支持的，是不含hive支持的，含支持的编译命令与自定义编译的命令是相同的（除了hadoop版本，可查看安装包文件中根目录的文件）......
spark单机配置部署
最新发布
04-29
### 单机环境下配置和部署Spark的指南 #### 1. 准备工作 在开始配置前，确保已经具备以下条件： - 安装了支持的操作系统（如Linux发行版Ubuntu、CentOS等）。 - 已经安装并配置好JDK环境，推荐版本为Java 8及以上。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值