Linux系统下配置Spark

最新推荐文章于 2024-09-04 11:00:00 发布

tsuiraku

最新推荐文章于 2024-09-04 11:00:00 发布

阅读量262

点赞数

分类专栏： Linux 文章标签： linux centos 大数据

本文链接：https://blog.youkuaiyun.com/m0_49337600/article/details/111404639

版权

Linux 专栏收录该内容

16 篇文章

订阅专栏

本文档详细介绍了在Linux系统，特别是Centos7.x环境下，如何配置和管理Spark服务。通过wget下载安装Spark，然后在/home/bigdata/cluster目录下解压并重命名文件。接着，对slave和spark-env配置文件进行修改以适应系统环境。最后，提供了启动和关闭Spark服务的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

说明：

操作系统：Centos7.x
虚拟机：VirtualBox
工具：FinalShell

步骤：

wget 安装 sprak

wget https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz

进入 /home/bigdata/cluster 下，解压 tgz 文件，并且重命名

tar -xf spark-2.1.1-bin-hadoop2.7.tgz 
mv spark-2.1.1-bin-hadoop2.7/ spark

修改 slave 配置文件

cd spark/
cd ./conf/
cp slaves.template  slaves
vim slaves

在这里插入图片描述

# 在配置中将localhost修改为自己的主机名字 我的叫node1

在这里插入图片描述

修改 spark-env 配置文件

cp ./spark-env.sh.template  ./spark-env.sh
vim spark-env.sh

在这里插入图片描述

SPARK_MASTER_HOST=node1 #添加 spark master 的主机名 
SPARK_MASTER_PORT=7077 #添加 spark master 的端口号

在这里插入图片描述

启动Spark服务：

# /home/bigdata/cluster/spark
sbin/start-all.sh

在这里插入图片描述

关闭Spark服务：

# /home/bigdata/cluster/spark
sbin/stop-all.sh