大数据框架Spark基本安装

本文详细介绍如何在Ubuntu18.04LTS上搭建Spark集群,包括安装JDK、配置Spark环境、实现多机免密登录等步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一.准备安装环境。

本人选择的是Ubuntu18.04LTS,总共三台主机,2台丛机,一台主机

二.安装JDK

将jdk压缩文件解压后配置环境变量JAVA_HOME,通过在、/etc/profile下最后面加入export。。。加入环境变量(环境变量千万别写错,不然可能开不了机了)

三.安装spark

将spark安装包解压后修改配置文件,由于是基本安装,因此只修改了spark-env.sh 和 slaves文件(刚刚解压安装的文件是template为后缀,需要将其改名)。

1.slaves文件:需要指明丛机的地址(如果配置了主机与IP映射可以直接写入丛机名,否则需要写入丛机IP地址)

2.spark-env.sh文件

1.首先要配置JDK位置

2.配置主机名

3.配置主机端口(默认端口是7077)

四.其他机器安装

通过scp命令将配置好的文件上传到其他机器,需要配置ssh免密登陆

scp  (-r) localfile usrname@hostname(or ip address):path

(如果机器过多可以通过shell脚本来启动)

五.启动spark集群

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值