spark集群搭建（完全分布式）

最新推荐文章于 2024-07-13 09:47:47 发布
原创 最新推荐文章于 2024-07-13 09:47:47 发布 · 1.5w 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文档详细介绍了如何在已有的Hadoop和Zookeeper集群上搭建Spark 2.3.0的完全分布式环境，强调了JDK版本要求、配置文件设置以及Master的高可用性验证，包括通过jps检查进程、Zookeeper监控路径以及Web界面状态切换等步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

说明

说明1、其余的见前几篇博客，本文基于之前安装的集群安装spark，安装的节点如下（标红的为本次安装）：

机器

安装软件

进程

focuson1

zookeeper;hadoop namenode;hadoop DataNode;hbase master;hbase regionrerver;spark master;spark worker

JournalNode; DataNode; QuorumPeerMain; NameNode; NodeManager;DFSZKFailoverController；HMaster；HRegionServer;Worker;Master

focuson2

zookeeper;hadoop namenode;hadoop DataNode;yarn;hbase master;hbase regionrerver;spark master;spark worker

NodeManager;ResourceManager;JournalNode; DataNode; QuorumPeerMain; NameNode; DFSZKFailoverController；HMaster；HRegionServer;Worker;Master

focuson3

zookeeper;hadoop DataNode;yarn;hbase regionrerver<
最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark完全分布式集群搭建
zhang__rong的博客
02-27 553
环境准备 服务器集群 我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的) spark安装包 下载地址：https://mirrors.aliyun.com/apache/spark/ 我用的spark-2.2.0-bin-h...
Spark 集群部署(Standalone)详解 手把手教学
最新发布
皮蛋不吃粥的博客
06-07 1855
Spark 集群部署(Standalone)详解 手把手教学
spark完全分布式集群搭建
热门推荐
FBeetle的博客
10-12 2万+
最近学习Spark，因此想把相关内容记录下来，方便他人参考，也方便自己回忆吧 spark开发环境的介绍资料很多，大同小异，很多不能一次配置成功，我以自己的实际操作过程为准，详细记录下来。 1、基本运行环境      spark的运行需要java和scala的支持，因此首先需要配置java、scala运行环境，网上资料很多，也很简单      详细内容参见上一篇博客(http://blog.
Spark+hadoop+scala 完全分布式集群搭建过程及启动过程
07-08
对于想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整...
Spark完全分布式搭建
qq_50835159的博客
06-08 2781
Spark完全分布式搭建教程(Standalone:Master+Slave） 分析: 1.配置好IP 2.修改主机名 3.做好IP主机映射 4.关闭防火墙 5.安装Java 6.安装Hadoop(完全分布式) 7.安装scala 8.配置SSH免密登入 9.集群配置 1.配置IP
搭建hadoop+spark完全分布式集群环境
weixin_46305053的博客
07-13 1668
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /home/hadoop/apps #解压到apps下。进入/home/hadoop/apps/hadoop-2.7.6/etc/Hadoop。sudo vi /etc/profile #修改配置文件。start-slaves.sh //启动从节点。start-master.sh //启动主节点。拷贝到slave1和slave2中。拷贝到slaves1,slaves中。//将其拷贝到其他机子上。
spark 分布式集群搭建
06-12
### Spark Standalone 分布式集群搭建详解 #### Spark Standalone 运行模式概述 Spark Standalone 是 Apache Spark 提供的一种自带的集群管理模式，主要用于管理 Spark 应用程序的执行环境。这种模式简单易用，适合...
Spark 完全分布式集群搭建过程
Ashely_Xie的博客
11-22 2513
Spark2.1 +Hadoop2.6 完全分布式集群搭建过程本篇博客由博主Ashely个人原创，如有转载，请注明出处：目录Spark21 Hadoop26 完全分布式集群搭建过程 目录 实验环境1 服务器上启动三台虚拟机 2 软件版本 总体流程1 修改主机名hosts 2 安装基础环境jdk和scala 3 配置ssh无密码访问 4 搭建hadoop分布式集群 5 搭建spark分布式集群 一 修
Spark集群3.1.1完全分布式搭建
weixin_64998435的博客
05-06 2678
spark3完全分布式部署
spark学习之搭建分布式集群
yangyuguang的博客
01-13 215
本文分两种方法搭建集群，一种是普通的集群，一种是HA分布式集群 普通集群搭建： 下载spark tar包 将tar上传到Linux服务器中 安装路径： /export/server/spark-2.4.0 配置环境 进入到spark-2.4.0/conf路径下 4.1将spark-env.sh.template改成spark-env.sh vi spark-env.sh #配置java环境变...
Spark分布式集群搭建
Zhangzghy的博客
12-26 1779
这里的Spark分布式集群是以我上一篇文章发的Hadoop分布式集群为基础搭建的，都是在UbuntuKylin系统中搭建的。过几天发Centos上的分布式集群搭建。
spark（完全分布式）
HESHIQI9927的博客
06-18 462
1.解压spark-2.4.4-bin-hadoop2.7.tgz包到module [root@hadoop101 software]# tar -xvf spark-2.4.4-bin-hadoop2.7.tgz -C /opt/module/ 2.进入spark的conf里面 重命名：spark文件名： [root@hadoop101 module]# mv spark-2.4.4-bin-hadoop2.7 spark-2.4.4-hadoop2.7 进入文件里面： [root@hadoop10
实验一：搭建spark完全分布式集群环境
weixin_46305053的博客
04-18 2459
1、下载安装spark 解压安装spark tar xzvf spark-2.2.3-bin-hadoop2.7.tgz -C /home/hadoop/apps spark集群规划 主机名 地址 角色 硬件配置 shixi01(master) 192.168.150.159 namenode 2g 4核 shixi02(
3.Spark环境搭建-Spark完全分布式集群搭建
kwame211的博客
03-12 1232
环境准备 服务器集群 我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的) spark安装包 下载地址：https://mirrors.aliyun.com/apache/spark/ 我用的spark-2.2.0-bin-h...
Liunx下搭建spark开发环境 (完全分布式集群下)
fy_1852003327的博客
05-01 700
Liunx下搭建spark开发环境 (完全分布式集群下) 【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】 借鉴文章： 在linux上安装spark详细步骤 Linux下安装Spark Linux中安装配置spark集群 Spark2.4.0 分布式环境搭建 运行环境： Linux所用版本为CentOS7 Jdk 1.8.0_171 Scala 2.11.12 Hadoop 2.7...
安装搭建完全分布式环境的spark集群
05-16
### 安装和配置完全分布式环境下的Spark集群 #### 主机映射配置 在搭建 Spark 集群之前，需要先完成主机之间的相互识别。通过编辑 `/etc/hosts` 文件来实现主机名到 IP 地址的映射[^1]。 ```bash sudo nano /etc/hosts ``` 添加如下内容（假设有 master 和两个 slave 节点）： ```plaintext 192.168.1.100 master 192.168.1.101 slave1 192.168.1.102 slave2 ``` #### 解压 Spark 并分发至各节点 在主节点 `master` 上下载并解压 Spark 的安装包，并将其复制到其他工作节点 `slave1` 和 `slave2` 中[^3]。 ```bash tar -zxvf spark-<version>-bin-hadoop<version>.tgz -C /usr/local/ mv /usr/local/spark-<version>-bin-hadoop<version> /usr/local/spark scp -r /usr/local/spark root@slave1:/usr/local/ scp -r /usr/local/spark root@slave2:/usr/local/ ``` #### 修改 Spark 配置文件 进入 Spark 的配置目录，创建或修改必要的配置文件。 ##### 1. 编辑 `conf/slaves` 该文件定义了所有的 Worker 节点列表。 ```bash cd /usr/local/spark/conf/ cp slaves.template slaves nano slaves ``` 写入以下内容： ```plaintext slave1 slave2 ``` ##### 2. 创建 `spark-env.sh` 用于设置 Spark 运行所需的环境变量。 ```bash cp spark-env.sh.template spark-env.sh nano spark-env.sh ``` 添加以下内容： ```plaintext export SPARK_MASTER_HOST=master export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 export HADOOP_CONF_DIR=/etc/hadoop/conf ``` ##### 3. 配置 `spark-defaults.conf` 此文件主要用于指定默认参数，例如 Master URL、日志路径等[^2]。 ```bash cp spark-defaults.conf.template spark-defaults.conf nano spark-defaults.conf ``` 添加以下内容： ```properties spark.master spark://master:7077 spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/spark-logs spark.serializer org.apache.spark.serializer.KryoSerializer spark.driver.memory 5g spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three" ``` ##### 4. 启动 HDFS 和 YARN 确保 Hadoop 已经正确启动，HDFS 可用。可以通过以下命令验证： ```bash hdfs dfsadmin -report yarn node -list ``` 如果未启动，则执行以下操作： ```bash start-dfs.sh start-yarn.sh ``` #### 启动 Spark 集群 回到主节点 `master`，依次启动 Spark Master 和 Workers。 ```bash sbin/start-master.sh sbin/start-slave.sh spark://master:7077 ``` 可以访问 Web UI 来确认集群的状态，默认地址为 `http://master:8080`[^1]。 #### 测试 Spark 应用程序 编写简单的测试脚本以验证集群运行正常。例如，在 Scala 或 Python 下提交一个 WordCount 程序。 ```python from pyspark import SparkContext, SparkConf if __name__ == "__main__": conf = SparkConf().setAppName("Word Count").setMaster("spark://master:7077") sc = SparkContext(conf=conf) text_file = sc.textFile("hdfs://master:8020/input.txt") counts = text_file.flatMap(lambda line: line.split()) \ .map(lambda word: (word, 1)) \ .reduceByKey(lambda a, b: a + b) output = counts.collect() for (word, count) in output: print(f"{word}: {count}") sc.stop() ``` 保存为 `word_count.py` 并提交任务： ```bash spark-submit --class com.example.WordCount word_count.py ``` --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值