Spark安装部署(Yarn Local Standalone)

最新推荐文章于 2024-11-09 11:49:43 发布
最新推荐文章于 2024-11-09 11:49:43 发布
阅读量418 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Comet_sgf/article/details/112973350

文章目录

前言

实验环境：
Linux Ubuntu 16.04
1) Java 运行环境部署完成
2) Hadoop单机模式部署完成

一、Yarn模式安装

  1. 打开命令控制台
  2. 解压安装包到apps目录下sudo tar -zxvf /data/hadoop/spark-2.1.3-bin-hadoop2.7.tgz -C /apps/（解压后，在/apps目录下产生spark-2.1.3-bin-hadoop2.7文件夹）
  3. 更改文件名sudo mv /apps/spark-2.1.3-bin-hadoop2.7/ /apps/spark
  4. 更改所属用户和用户组sudo chown -R dolphin:dolphin /apps/spark/
  5. 调出编辑器sudo leafpad ~/.bashrc
  6. 设置环境变量export SPARK_HOME=/apps/spark export PATH=$SPARK_HOME/bin:$PATH
  7. 使环境变量生效source ~/.bashrc
  8. 修改spark配置文件名，使之生效mv /apps/spark/conf/spark-env.sh.template /apps/spark/conf/spark-env.sh
  9. 打开spark-env.sh文件sudo leafpad /apps/spark/conf/spark-env.sh
  10. 在最后加入export JAVA_HOME=/apps/java export SCALA_HOME=/apps/scala export SPARK_MASTER_IP=localhost export HADOOP_HOME=/apps/hadoop export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
  11. 使slaves配置文件生效mv /apps/spark/conf/slaves.template /apps/spark/conf/slaves
  12. 启动Hadoop/apps/hadoop/sbin/start-all.sh
    在这里插入图片描述
  13. 启动Spark/apps/spark/sbin/start-all.sh
    在这里插入图片描述
  14. 使用jps指令查看spark进程情况
    在这里插入图片描述

二、Local模式安装

  1. 打开命令控制台
  2. 解压安装包到apps目录下sudo tar -zxvf /data/hadoop/spark-2.1.3-bin-hadoop2.7.tgz -C /apps/（解压后，在/apps目录下产生spark-2.1.3-bin-hadoop2.7文件夹）
  3. 更改文件名sudo mv /apps/spark-2.1.3-bin-hadoop2.7/ /apps/spark
  4. 更改所属用户和用户组sudo chown -R dolphin:dolphin /apps/spark/
  5. 调出编辑器sudo leafpad ~/.bashrc
  6. 设置环境变量export SPARK_HOME=/apps/spark export PATH=$SPARK_HOME/bin:$PATH
  7. 使环境变量生效source ~/.bashrc
  8. 启动Spark shellspark-shell --master local
    在这里插入图片描述
  9. 重新打开一个控制台，运行案例计算PI值run-example SparkPi 10 | grep 'Pi is roughly'，执行成功，Local版本安装成功。
    在这里插入图片描述
    在这里插入图片描述

三、Standalone模式安装

  1. 打开命令控制台
  2. 解压安装包到apps目录下sudo tar -zxvf /data/hadoop/spark-2.1.3-bin-hadoop2.7.tgz -C /apps/（解压后，在/apps目录下产生spark-2.1.3-bin-hadoop2.7文件夹）
  3. 更改文件名sudo mv /apps/spark-2.1.3-bin-hadoop2.7/ /apps/spark
  4. 更改所属用户和用户组sudo chown -R dolphin:dolphin /apps/spark/
  5. 调出编辑器sudo leafpad ~/.bashrc
  6. 设置环境变量export SPARK_HOME=/apps/spark export PATH=$SPARK_HOME/bin:$PATH
  7. 使环境变量生效source ~/.bashrc
  8. 进入到config目录下cd /apps/spark/conf
  9. 修改spark配置文件名，使之生效mv spark-env.sh.template spark-env.sh
  10. 将slaves.template重命名为slavesmv slaves.template slaves
  11. 打开spark-env.sh文件sudo leafpad /apps/spark/conf/spark-env.sh
  12. 在最后加入export JAVA_HOME=/apps/java export SPARK_MASTER_IP=tools<br> export SPARK_MASTER_PORT=7077
    保存退出
  13. 进入sbin目录cd /apps/spark/sbin，启动脚本./start-all.sh
  14. 使用jps指令查看spark进程情况
  15. 查看本机ipifconfig
  16. 输入指令spark-shell --master spark://x.x.x.x:7077，x.x.x.x表示本机ip
  17. 显示“scala>”表示Standalone模式安装成功。

小结

三种安装方式大同小异，根据具体需要进行选择。下面说一些知识点，供大家参考。

  1. 高性能，大规模并行系统可用于促进数据准备和建模、部署、业务理解；
  2. Oozie在Hadoop架构中的主要目的是支持执行一系列行动组成的工作流程；
  3. 协调器作业使用了以下文件
    在这里插入图片描述
  4. 时间、数据、对API应用程序的调用、Oozie CLI；
  5. SparkR定义的聚合函数：sumDistinct，sum，Min，count；
  6. Spark支持Standalone，On Mesos, On Yarn三种不同类型的部署方式；
  7. Spark采用RDD后能实现高效计算的原因主要是高效的容错性；中间结果持久化到内存，数据在内存中的多个；存放的数据可以是Java对象，避免了不必要的对象序列化和反序列化；
  8. Spark运行架构的特点：
  • 每个Application都有自己专属的Executor进程，并且该进程在Application运行期间一直驻留
  • Task采用了数据本地性和推测执行等优化机制
  • Executor进程以多线程的方式运行Task
  • Spark运行过程与资源管理器无关，只要能够获取Executor进程并保持通信即可
  1. Spark特点：运行速度快，容易使用，通用性；
Spark系列-3、Spark的部署方式之Standalone模式
不积跬步无以至千里，不积小流无以成江河
05-27 1287
Spark的部署方式之Standalone模式
Spark on Yarn和Standalone
someInNeed的博客
02-26 2274
Spark运行模式较多，包含但是不止以下 local就是单机，jobs都在这台机器上运行。 standalone 就是说多台机器组成一个集群，然后jobs可以分在多台机器上运行 yarn 就是说spark程序运行在yarn上（别的应用共享服务器建议用yarn） client就是jobs在不同机器运行，...
Spark安装部署（local和standalone模式）
weixin_34318956的博客
05-22 262
Spark运行的4中模式： Local Standalone Yarn Mesos 一、安装spark前期准备 1、安装java $ sudo tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/service/ export JAVA_HOME=/opt/service/jdk1.7.0_67 export P...
Spark快速入门系列(7) | Spark环境搭建—standalone(4) 配置Yarn模式
不温卜火
07-19 5626
  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.youkuaiyun.com/   此篇为大家带来的是Spark环境搭建—standalone(4).
【spark】spark的三种常用运行环境：Local，Standalone，Yarn
weixin_44441131的博客
07-16 1915
Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行,在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。spark提供了基于不同环境下的部署模式，本篇针对常用的部署和运行模式，简单做一下总结。...
spark安装local和standalone
w3045872817的博客
10-19 535
首相下载： 下载scala http://www.scala-lang.org/ 下载spark http://spark.apache.org/downloads.html 下载对应版本安装步骤：1.tar -zxvf scala_file 2.添加环境变量(/etc/profile) 3.source /etc/profile 4.tar -zxvf spark_file 5.添加环境变
spark在yarn模式下的安装部署
m0_49159859的博客
03-01 1639
1.安装部署 [0]下载spark安装包 [1]解压spark tar -zxf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/; 2.配置历史服务器 3.配置查看历史服务器
安装Spark-单机部署,Standalone集群部署,Spark on Yarn实现
weixin_58305115的博客
10-07 2037
SparkSession也是Spark程序中的一个类，功能类似于SparkContext，Spark2.0以后推出的，如果Hadoop生态的程序，例如MR、Hive、Sqoop、Oozie等使用YARN来计算。2-存储实时工具元数据。资源管理和任务调度：将所有从节点的资源在逻辑上合并为一个整体，将任务分配给不同的从节点。使用自己所在节点的资源运行计算进程Executor：给每个计算进程分配一定的资源。YARN支持多种类型程序的运行：MR、Tez、Spark、Flink等。
大数据-计算引擎-Spark（二）：Spark安装与配置【Local模式、Standalone模式、Yarn模式】
u013250861的博客
01-30 784
大数据-计算引擎：Spark安装与配置【Local模式】
Spark的安装（Standalone模式，高可用模式，基于Yarn模式）
01-20
spark的Standalone模式安装  一、安装流程 1、将spark-2.2.0-bin-hadoop2.7.tgz 上传到 /usr/local/spark/ 下，然后解压 2、进入到conf中修改名字 改为 .sh 结尾的 3、编辑 spark-env.sh 4、修改slaves 的...
Spark之Yarn模式部署
qq_46887567的博客
03-17 963
独立部署（Standalone）模式由Spark自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是你也要记住，Spark主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。所以接下来我们来学习在强大的Yarn环境下Spark是如何工作的（其实是因为在国内工作中，Yarn使用的非常多）。 解压缩文件： 将spark-3.0.0-bin-hadoop3.2.tgz文件上传到lin..
Spark Yarn部署
zhongmingyu
03-27 521
独立部署（Standalone）模式由 Spark 自身提供计算资源，无需其他框架提供资源。但是你也要记住，Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。所以接下来我们来学习在强大的Yarn 环境下 Spark 是如何工作的（其实是因为在国内工作中，Yarn 使用的非常多）。修改 hadoop 配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发。
【Spark实战】Windows环境下编译Spark2 Linux上部署Spark On Yarn
有文档被优快云自动升级成了VIP免费，需要调整的可以私信
07-05 1024
Windows环境下编译Spark2 Linux上部署Spark On Yarn
【Spark】本地环境下的搭建（单机模式）
最新发布
2403_86969226的博客
11-09 2021
Spark有五种运行模式‌，分别是Local模式、Standalone模式、YARN模式、Mesos模式和Kubernetes模式‌。Local 模式（本地）Local模式是Spark运行在本地机器上，利用本地资源进行计算。这种模式通常用于测试和调试，因为它不需要其他节点资源，适合在开发环境中使用‌。Standalone 模式（集群）Standalone模式是Spark自带的资源调度系统，支持完全分布式。在这种模式下，Spark有自己的Master和Worker节点，负责资源的调度和管理。
Spark on yarn 环境搭建原理和操作
m0_67144365的博客
05-13 285
Spark on yarn 环境搭建原理和操作
4、安装部署Spark(Spark on Yarn模式)
Manonll的博客
06-15 4645
执行ls -l命令会看到下面的图片所示内容，这些内容是Spark包含的文件： 4.2.1.2在文件末尾添加如下内容；保存、退出 4.2.1.3重新编译文件，使环境变量生效 4.3验证Spark安装 4.3.1修改${HADOOP_HOME}/etc/Hadoop/yarn-site.xml； 说明：在master和slave01、slave02节点都要如此修改此文件 4.4重启hadoop集群（使配置生效） 4.5进入Spark安装主目录 4.5.1执行下面的命令（注意这是1行代码）： 4.5
(超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）
热门推荐
JunLeon的博客
03-21 4万+
Spark环境搭建 JunLeon——go big or go home 目录 Spark环境搭建 一、环境准备 1、软件准备 2、Hadoop集群搭建 3、Anaconda环境搭建 二、Spark Local模式搭建 1、Spark下载、上传和解压 2、配置环境变量 3、配置Spark配置文件 4、测试 5、补充：spark-shell、spark-submit 三、Spark Standone模式搭建 1、Hadoop集群与Spark集群节点规划 2、三台虚拟机分别安
【CentOS】Spark 运行环境（Local、Standalone）
懂得一千零一种,赋予你失败的方法！
12-28 1185
文章目录一、Local 模式1、启动 Local 环境2、测试3、提交应用程序（jar包）二、Standalone 模式1、解压压缩文件2、修改配置文件 Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下 Spark 的运行（主要是 Local 和 Standalone 两种，yarn之后再介绍）。 一、Local 模式 之前在 IDEA 中运行代码的环境我们称之为.
Spark环境搭建（多种模式）
若闲小阁
11-22 1110
个人博客原文链接 Spark环境的搭建相比于Hadoop集群的搭建还是比较简单的，而且跟Hadoop集群的搭建流程也很相似，只是没有Hadoop集群那么多的配置文件要修改。本文中，我将详细介绍Spark的本地模式、Standalone模式（伪分布）、Standalone模式（全分布）、Yarn集群模式的搭建。 搭建环境：CentOS7+jdk8+spark2.3.2+hadoop2.7 Local...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值