Spark local模式安装

最新推荐文章于 2025-04-22 09:40:07 发布
最新推荐文章于 2025-04-22 09:40:07 发布
阅读量1.6k 收藏 5
点赞数 1
分类专栏： 大数据 文章标签： spark scala local模式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_35284191/article/details/99344645
版权
本文档详细介绍了如何在Linux环境下安装Spark 2.2.0的Local模式。首先创建/data/spark1目录并下载Spark及Scala安装包，接着解压并配置环境变量，最后通过启动spark-shell验证安装成功。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、首先在linux上创建目录/data/spark1，用于存储所需文件。

mkdir -p /data/spark1

2、下载spark以及scala

切换目录到/data/spark1目录，分别在官网上下载所需的Spark安装包spark-2.2.0-bin-hadoop2.7以及scala安装包scala-2.10.6。

Spark官网：http://spark.apache.org/downloads.html

点击以前版本选择spark-2.2.0,下载spark-2.2.0-bin-hadoop2.7.tgz

scala官方网址：https://www.scala-lang.org/download/2.10.6.html，下载scala-2.10.6.tgz

最低0.47元/天 解锁文章
spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群
erainm
10-01 1092
 Spark 框架编写的应用程序可以运行在本地模式(Local Mode)、集群模式(Cluster Mode) 和云服务(Cloud)，方便开发测试和生产部署。 概述 本地模式:Local Mode 将Spark 应用程序中任务Task运行在一个本地JVM Process进程中，通常开发测试使用。 本地模式LocalMode运行:启动一个JVM进程，里面运行Task任务，Task任务并行运行数目依据分 配CPU Core核数，在Spark应用中，一个Task任务运行，需要1Core CPU。 1)
大数据-计算引擎-Spark（二）：Spark安装与配置【Local模式、Standalone模式、Yarn模式】
u013250861的博客
01-30 782
大数据-计算引擎：Spark安装与配置【Local模式】
Spark Local模式安装
feizuiku0116的博客
01-25 2834
一、前期准备工作 1.配置CentOS7教程 2.配置网络环境 3.远程工具连接 4.安装必要的软件 5.卸载重装JDK 6.卸载重装MySQL 二、安装Spark 一、下载安装包 官网下载Spark安装包 二、上传安装包 cd /export/software rz 上传 三、解压安装包 tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /export/server/ 四、重命名 cd /export/server mv spark-3.1.2-bin-ha
搭建spark-local模式
最新发布
2301_82006540的博客
04-22 429
在安装Spark时，它就提供了一些示例程序，我们可以直接来调用。进入到spark-local，运行命令spark-submit命令。这里的 \ 是换行输入的意思，整体的代码就只有一句，只不过太长了，我们把它拆开成几个部分来输入，其中\ 的意思就是这里写不下，写在下一行。接下来的操作，我们把它上传到集群中的节点，并解压运行。1.打开etc/profile.d/my_env.sh文件中，补充设置spark的环境变量。的值，具体运行效果如下。请注意，它并不会产生新的文件，而是直接在控制台输出结果。
Spark Local模式安装（保姆式详细教程附代码）
阿极的博客
01-07 1648
（详细教程附代码）了解Spark的六种运行模式，准确理解Spark Local模式运行原理，熟练掌握Spark Local模式的安装流程。
Spark安装及Local模式
weixin_45102492的博客
02-14 398
Spark安装 官网下载spark ： http://spark.apache.org/downloads.html 把spark-3.0.0-preview2-bin-hadoop2.7.tgz上传到/opt/module/Spark目录下并解压 [root@node01 Spark]# tar -zxvf spark-3.0.0-preview2-bin-hadoop2.7.tgz 执行s...
【Spark】Local本地模式安装部署
qq_41369191的博客
04-15 483
下载Spark安装包 下载地址：http://spark.apache.org/downloads.html 上传安装包 cd /export/soft/ rz 解压 tar -zxvf ./spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz -C ../servers/ 解压目录说明 bin：可执行脚本 conf：配置文件 dat...
【BIT云计算实验】Spark Local/Standalone模式搭建实验记录
Alice2O3的博客
04-06 4640
菜鸡百丽宫，云计算搞这么离谱的实验，发的教程也没有任何参考价值。 为了补充老师没有提到的关键步骤，同时为了致敬画师Nardack和Krenz，这里专门以这两位为用户名，展开介绍一下从零开始建立Ubuntu虚拟机，查看ip地址，配置ssh无密码相互连接，配置环境变量，Local和Standalone模式运行spark集群的全部步骤，以飨读者。
1-1、Spark 的local模式安装
鲍礼彬的优快云博客 ~_~
12-13 2361
软件： jdk1.8 centos6.5 hadoop2.6.0 spark-1.5.2-bin-hadoop2.6.tgz 1、解压，编辑spark-env.sh文件 2、设置主节点IP地址： 3、设置从节点IP地址： 添加IP地址： 4、启动： 查看进程： 5、启动spark-sh
Spark本地模式安装
wux_labs的博客
12-12 1517
Spark本地模式即单机模式，以一个独立的进程，通过其内部的多个线程来模拟整个Spark运行时环境，本地模式只需要在1台服务器上安装Spark即可。本地模式的安装非常简单，只需要将下载的Spark软件安装包解压到目标位置即安装完成。
Spark----Local模式的安装配置
WQY992的博客
07-25 860
版本选型 spark2.1.2 ， 依赖scala2.11.8 安装部署 下载spark-2.1.2-bin-hadoop2.7.tgz 解压安装： 进入需要安装的目录 cd /home/wyc/apps 通过共享文件夹，将安装包拷贝进入虚拟机 cp /mnt/hgfs/sharefile/apache-spark/spark-2.1.2-bin-hadoop2.7.t...
SparkLocal模式安装
Pan_Mars的博客
01-03 967
本人借鉴别人的实验，本着知识分享的态度，希望大家转载说明出处，谢谢合作。祝大家学的开心。
Spark Local模式安装及测试
qq_34999090的博客
03-18 870
1、解压文件 解压spark压缩文件到/export/server/目录下(我的是:spark-3.2.0-bin-hadoop3.2.tgz) (pyspark) [root@node1 export]# tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C /export/server/ 2、配置软连接(也可以不配置，配置是为了输入这个文件夹是比较方便) (pyspark) [root@node1 server]# ln -s /export/serv.
Spark安装部署Local
Laity
05-16 368
生命无罪，健康万岁，我是laity。 以下操作都是基于你已经把hadoop集群搭建好了的情况下 Spark的运行模式 上面的部署安装属于(本地模式)Local部署 Spark的架构角色 个人认为很重要 - 方便理解Spark和YARN Python环境部署 我们用的python环境是Anaconda3 # 1.将`Anaconda3-2021.05-Linux-x86_64.sh`文件到Linux服务器上 # 2.安装到 /opt/laityInstall 下 sh ./Anaconda
Spark框架学习：Spark Local模式安装、Standalone伪分布模式安装、Scala开发插件安装
坚决不做秃头少女
12-04 746
Spark Local模式安装 目前Apache Spark主要支持三种分布式部署方式：分别是standalone、Spark on mesos和spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算...
spark环境安装之local本地模式-Spark初体验
王傲旗的大数据之路
04-03 718
官方下载地址:官方下载 博主百度云下载Spark安装包 提取码：2uuf 提取码：2uuf 1.上传安装,解压 ●解压重命名 cd /export/servers tar spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz mv spark-2.2.0-bin-2.6.0-cdh5.14.0 spark ●注意： 如果有权限问题，可以修改为root，方便学习时操作，实际中使...
Spark本地环境搭建（local模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4938
大数据实验教学系统Spark本地环境搭建（local模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。了解Spark不同安装包之间的区别   安装和配置Spark环境（本地模式）   测试Spark安装是否成功。1、安装和配置Spark环境（本地模式）   2、测试Spark。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3   在本实验环境中，Spark安装包位于以下位置：/data/software/sp
Spark执行模式详解：local, Standalone client模式
Local模式主要用于本地开发和测试，它会在本地单机上模拟一个完整的Spark集群。你可以通过`local[n]`来指定使用多少个线程来模拟executor。例如，`--master local[8]`会使用8个线程来运行任务。这种模式下，Driver...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值