spark入门高可用部署HA（五)

最新推荐文章于 2024-04-30 11:21:56 发布

Long long ago.

最新推荐文章于 2024-04-30 11:21:56 发布

阅读量696

点赞数

文章标签： spark java 大数据

本文链接：https://blog.youkuaiyun.com/weixin_43205308/article/details/131109487

版权

一、standalone基于修改部署

https://blog.youkuaiyun.com/weixin_43205308/article/details/131070277?spm=1001.2014.3001.5501

二、安装ZOOKEEPER

zookeeper 安装下载与集群

三、修改conf下的spark-env.sh

vim conf/spark-env.sh

注释以下内容（根据自己环境修改）

#SPARK_MASTER_HOST=hadoop100
#SPARK_MASTER_PORT=7077

在这里插入图片描述
添加以下配置（根据自己环境修改）

export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop100,hadoop101,hadoop102
-Dspark.deploy.zookeeper.dir=/spark

完整配置如图
在这里插入图片描述
记得分发配置

四、启动zookeeper

五，重启Spark

在hadoop100操作

sbin/start-all.sh

在hadoop101只启动master

sbin/start-master.sh

六、测试

关闭其中一个masetr进程，master节点将会切换
在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Long long ago.

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Spark入门详解

lukabruce的博客

08-16

3万+

一 Spark概述 1 11 什么是Spark 2 Spark特点 3 Spark的用户和用途二 Spark集群安装 1 集群角色 2 机器准备 3 下载Spark安装包 4 配置SparkStandalone 5 配置Job History ServerStandalone 6 配置Spark HAStandalone 7 配置SparkYarn ...

大数据测试：构建Hadoop和Spark分布式HA运行环境！

myh919的博客

11-29

1083

随着大数据技术的不断发展，Hadoop和Spark已成为处理大规模数据的热门框架。在生产环境中，高可用性（HA）是至关重要的，以确保数据处理和分析任务不受中断。本文将详细介绍如何构建 Hadoop和Spark分布式HA运行环境，以确保数据处理平台的稳定性和可用性。

参与评论您还未登录，请先登录后发表或查看评论

Spark学习（二）Spark高可用集群搭建

potter

04-20

2137

1、下载Spark安装包官网网址：http://spark.apache.org/downloads.html2、Spark安装过程2.1、上传并解压缩[potter@potter2 ~]$ tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz -C apps/2.2、修改配置文件（1）进入配置文件所在目录/home/potter/apps/spark-2.3.0-bin...

Spark HA高可用部署

布里啾啾迪布利多的博客

03-12

1263

1. 高可用部署说明SparkStandalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。如何解决这个单点故障的问题，Spark提供了两种方案：（1）基于文件系统的单点恢复(Single-NodeRecovery with Local File System)。主要用于开发或测试环境。当spar...

大数据组件-Spark高可用架构部署

芝士味椒盐的博客

01-14

901

解压 sudo tar -zxf ~/download/spark-2.0.2-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-2.0.2-bin-without-hadoop/ ./spark sudo chown -R hadoop ./spark 配置环境变量在Mster节点主机的终端中执行如下命令： vim ~/.bash_profile 在.bash_profile添加如下配置： exp

04-Spark入门

PenguinLittle的博客

03-01

2052

04-Spark入熟悉spark相关概念搭建spark集群编写简单的spark应用程序 2.spark概述 2.1.什么是spark spark是基于内存的快速、通用、可扩展的大数据分析计算引擎。它的计算速度非常快。但是仅仅只涉及到数据的计算，并没有涉及到数据的存储。 2.2.为什么要学习spark 运行速度比mapred uce快很多 2.3.spark特点速度快（比mapreduce在内存中快100倍，在磁盘中快10倍） spark中的job中间结果可以不落地，

Spark入门(二)运行模式及安装部署

PassionZheng的博客

05-19

782

上一节对Spark进行大致的介绍，包括其历史、特点以及各内置模块等方面内容，书归正题，本节就对Spark框架的安装部署进行大致的介绍。部署Spark集群大体上分为两种模式：单机模式与集群模式。大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境，但是在生产环境中，并不会使用单机模式。因此，后续会直接按照集群模式部署Spark集群。 Spark目前支持 4 种运行模式： 1）Local模式：在本地部署单个Spark服务（适用于测试） 2）Standalone模式：并非是单节点，而是使用Spark自

基于YARN HA集群的Spark HA集群

pysense的博客

12-08

1282

文章目录前言1、yarn HA模式的配置1.1 完整 yarn-site.xml配置1.2 mapred-site.xml的配置文件说明1.3 yarn HA的启动2、spark HA 集群及其基本测试2.1 修改spark配置2.2 启动spark集群3、spark on yarn3.1 spark集群跑在yarn上的两种方式3.2 测试spark on yarn 前言在前面的《基于h...

Spark入门篇

子清的博客

11-04

791

文章目录第1章 Spark概述1.1 什么是Spark1.2 Spark框架1.3 Spark内置模块1.4 Spark特点第2章 Spark运行模式2.1 Spark安装地址2.2 Local模式2.2.1 安装使用2.2.2 官方WordCount案例2.3 集群角色2.3.1 Master和Worker2.3.2 Driver和Executor2.3.3 通用运行流程2.4 Standalone模式2.4.1 安装使用2.4.2 参数说明2.4.3 配置历史服务2.4.4 配置高可用（HA）2.4.5

spark高可用集群（自动切换方式）搭建手册

03-29

spark高可用集群（自动切换方式）搭建手册，spark高可用集群（自动切换方式）搭建手册

Spark高可用集群搭建

Ennis_Tongji的博客

08-20

448

9.4 Spark安装 9.4.1 下载spark 去官网https://spark.apache.org/downloads.html查找合适的版本，这里选用【spark-3.1.2-bin-hadoop2.7.tgz】进行创建目录、下载、解压、改名四连操作 # cd /opt # wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop2.7.tgz # tar -zxvf spark-3.1

spark-2.1.1高可用部署

邢宁

01-22

1455

1、解压文件到指定目录 tar zxf scala-2.11.8.tgz -C /data/ tar zxf spark-2.1.1-bin-hadoop2.7.tgz -C /data/ 2、修改配置文件 cd /data/spark-2.1.1-bin-hadoop2.7/conf cp spark-env.sh.template spark-env.sh cp slaves.template slaves vim spark-env.sh ##ssh端口不是22时 #export SPARK_S

Spark配置高可用HA

zhongmingyu

03-24

1275

Spark高可用性（High Availability）是指在Spark集群中，当某个节点或组件出现故障时，系统可以自动切换到备用节点或组件，以保证整个集群的稳定性和可用性。Spark高可用性的实现可以通过以下两种方式之一：Spark Standalone模式的高可用性：使用Spark自带的HA机制，通过Zookeeper实现主节点的选举和故障转移，从而保证Spark集群的高可用性。

Spark配置高可用（HA）