Ubuntu 下，spark 2.4.0 单机伪分布式 搭建

最新推荐文章于 2023-04-02 16:53:40 发布
原创 最新推荐文章于 2023-04-02 16:53:40 发布 · 1.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Spark #伪分布式

本文详细介绍了如何在Ubuntu系统下，通过单机模式设置Spark 2.4.0的伪分布式环境。首先确保安装了Java，然后下载Spark并解压，接着配置环境变量，进入Spark配置目录修改spark-env.sh和slaves文件，最后启动Spark集群，可以在8080端口查看Master Web UI。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

友情提示：需要先安装Java，可参考 https://blog.youkuaiyun.com/yitengtongweishi/article/details/81946349

目录

下载 Spark

https://archive.apache.org/dist/spark/

单击上述链接，选择相应版本。

解压

blockchain@Dao:~$ tar -zxvf ~/Downloads/spark-2.4.0-bin-hadoop2.7.tgz -C ~

配置环境变量

用 vim 编辑 ～/.bashrc

blockchain@Dao:~$ vim ~/.bashrc

在 ～/.bashrc 文件末尾 添加

#Spark
export SPARK_HOME=$HOME/spark-2.4.0-bin-hadoop2.7
export PATH=$PATH:${SPARK_HOME}/bin

保存退出，使配置立即生效

blockchain@Dao:~$ source ~/.bashrc

配置 Spark

进入 ${SPARK_HOME}/conf 目录

blockchain@Dao:~/spark-2.4.0-bin-hadoop2.7/co
最低0.47元/天 解锁文章

200万优质内容无限畅学
26 -大数据 centos spark单机版伪分布式模式（1）
zhang__rong的博客
02-27 356
Spark的部署方式包括Standalone、YARN、Mesos，在我们学习Spark编程的过程中，往往机器资源有限，于是可以采用伪分布式部署。 1.2 Spark 部署依赖 Spark Standalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于Hadoop HDFS，因此我们也部署了伪分布式的Hadoop。 本次部署是在cen...
spark伪分布部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 751
本实验任务主要完成基于ubuntu环境的Spark伪分布部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Spark伪分布部署方法，为后续实验的开展奠定Spark平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握Spark伪分布环境的搭建配置本次环境是：Ubuntu16.04 所需root密码为simpleware-sshspark有以下几种安装模式，每种安装模式都有自己不同的优点和长处。   local(本地模式)： 常用于本地开发测试，本地还分为loc
Spark集群构建:第一步：搭建 Hadoop,单机和伪分布式环境；
10-29
对于 90%以上想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，家林把 Spark 集群的构建分为了四个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的 Spark 集群。
Spark 伪分布式 & 全分布式 安装指南 - leejun_2005的个人页面 - 开源
luoyatian0522的专栏
05-19 502
0、前言 3月31日是 Spark 五周年纪念日，从第一个公开发布的版本开始，Spark走过了不平凡的5年：从刚开始的默默无闻，到13年的鹊起，14年的大爆发。Spark核心之上有分布式的机器学习，SQL，streaming和图计算库。 4月1日 spark 官方正式宣布 Spark 2.0 对Spark重构，更好支持手机等移动终端。Databricks创始人之一hashjoin透漏了相关
Spark 单机版伪分布式 CentOS
GIS摆渡人
12-24 371
如果机器资源有限，可以使用单机伪分布式 本次部署是在centos 7.1上部署的，ip地址是192.168.1.91，主机名称是hadoop03，已经做好了ssh免登录。Spark各依赖组件的版本分别如下： JDK 1.8.0_71 Scala 2.11.8 Hadoop 2.6.0 一、scala下载安装 1、下载 https://www.scala-lang.org/download...
Ubuntu14.04，Spark,伪分布式安装
u013782462的博客
04-11 1452
毕设
Hadoop（伪分布式）+Spark（local模式）搭建Hadoop和Spark组合环境
m0_60154718的博客
03-15 4666
一、安装Hadoop 二、安装Spark
伪分布式基于hadoop3.1.3生态环境大数据集群
06-15
spark=2.4.0 sbt=1.3.8 flink=1.9.1 maven=3.6.3 建议配合主机的IntelliJ-IDEA的Bigdata拓展工具以及SSH服务进行远程操控使用。 3.本机密码都是“hadoop”。 4.mysql5.7用户名为"root"，密码为"hadoop"。 5.使用...
linuxspark伪分布式搭建
最新发布
03-10
好的，我现在需要帮助用户解决在Linux系统上搭建Spark伪分布式集群的问题。首先，我需要回顾用户提供的引用内容，看看里面有哪些有用的信息。 用户引用了五个资料，其中引用[2]和[5]提到了伪分布式的搭建步骤。引用...
搭建 Spark 单机伪分布式环境
qq_55944883的博客
04-02 2478
是配置分布式文件系统对于每个文件块的副本数量设置，默认为3,而 在伪分布式环境下设置为 1，因为只有一个节点。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。是配置默认文件系统所在的位置，将其中主机名替换为自 己的主机名称（框架中资源管理者的主机名，因为就一个节点，所以设置为当前主机名。为输出文件夹（是文件夹,不是文件！为输入文件夹（是文件夹,不 是文件！
spark-2.4.0-bin-hadoop2.7.tgz.zip
06-08
Apache Spark是一个开源集群运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍，即便是运行程序于硬盘时，Spark也能快上10倍速度。[1]Spark允许用户将数据加载至集群存储器，并多次对其进行查询，非常适合用于机器学习算法。
spark-2.4.0-bin-hadoop2.7
01-17
spark-2.4.0-bin-hadoop2.7
spark-2.4.3-bin-hadoop2.7.tgz
06-13
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
spark-2.4.0-bin-hadoop2.7.rar
05-28
spark-2.4.0-bin-hadoop2.7 ,下载超级慢，放在这里分享给大家.. 加压rar就可以
Ubuntu 14.04 下使用IDEA开发Spark应用 入门
weixin_30329623的博客
12-15 139
网上有很多教程，有用sbt ，也有不用sbt的，看的头大，搞了半天，终于运行成功一个例子，如下： 1.官网下载http://www.jetbrains.com/idea/download/ Interlij IDEA，用conmmunity Edition 就够了 2.启动起来以后，在插件搜索里面 选择scala ，安装。 3.创建scala Project ，设置名称，JDK和S...
Spark的三种伪分布式方式
微电子学与固体电子学-俞驰
04-25 705
说法一: 只有一台机子，搞伪分布式，很简单， IP分别来自127.0.0.1和局域网ip,这样一台机子就变成两台，spark认为一个IP就是一台机子 说法二: 两台机子，虽然看起来是集群，其实依然是伪分布式 根据[1]可知: 更抽象的层次来看：Spark的运行架构由Driver（可理解为master）和Executor（可理解为worker或slave)组成，Driver负责把用户...
Spark源码编译、运行 + IntelliJ IDEA+Ubuntu
边缘IT人
04-15 1609
本人最近由于实验需要，需要对Spark源码进行研读，折腾许久，记录下Spark源码编译、导入 IntelliJ IDEA和顺利运行Spark中自带example的过程。Spark版本是最新的2.3.0版本。1.Spark源码获取       Spark的源码获取可以从官网或者是github上获取，由于接下来我们需要对源码进行编译（不借助 IntelliJ IDEA），所以我们直接下载源码压缩包。G...
Spark2.4.0伪分布式环境搭建
weixin_30502965的博客
03-11 199
一、搭建环境的前提条件 　　环境：ubuntu-16.04 　　　　　hadoop-2.6.0 　　　　 jdk1.8.0_161。 　　　　　spark-2.4.0-bin-hadoop2.6。这里的环境不一定需要和我一样，基本版本差不多都ok的，但注意这里spark要和hadoop版本相对应。所需安装包和压缩包自行下载即可。 　　因为这里是配置spark的教程，首先必须要配置Ha...
spark2.4.0 伪分布式集群搭建 mac环境
大黄_sama
08-04 456
一、官网文档 https://spark.apache.org/docs/2.4.0/spark-standalone.html 二、技能标签 - 学会安装Spark 2.4.0 standalone模式环境安装 - Spark 集群环境maste，worker,history server 启动停止命令 - Spark master,worker,history server 配置和管理界面查看 - Spark shell 终端执行交互式命令，Spark shell 作业监控 - World.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值