standalone模式安装

本文详细介绍如何从零开始搭建Spark集群,包括安装配置JDK、Scala、Hadoop等关键步骤,并提供配置文件修改方法及集群测试流程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.安装好jdk,版本最好1.6+,本人安装的是1.7,并且配置好环境变量JAVA_HOME。

2.安装好scala,scala版本最好选择2.10.4,配置好环境变量SCALA_HOME。本人没有安装scala,但是spark一样能运行,应该是spark本身自带scala。强烈建议自己安装scala。

3.安装好hadoop,配置好环境变量HADOOP_HOME,主要是spark需要用到hadoop的配置。

4.复制修改slaves文件,配置哪些节点是worker节点。

5.复制修改spark-env.sh和spark-defaults.conf。参考:spark配置

6.启动集群,参考:spark命令

7测试集群是否安装成功,参考:测试spark集群是否安装成功:网页监控页面和运行spark shell

官网的standalone 模式安装配置阅读很简单,直接参考官网的。

Spark Standalone Mode

转载于:https://my.oschina.net/cjun/blog/506729

### 如何在Standalone模式安装Spark 2.3.2 #### 下载并解压Spark包 为了在独立(standalone)模式下部署Apache Spark,首先需要获取适合的二进制分发版。考虑到特定版本的需求,应手动下载而不是通过脚本来完成此操作。 ```bash wget http://archive.apache.org/dist/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz tar -xzvf spark-2.3.2-bin-hadoop2.7.tgz mv spark-2.3.2-bin-hadoop2.7 /usr/local/spark ``` #### 配置环境变量 为了让命令行工具能够识别新安装的Spark路径,需设置`SPARK_HOME`和更新系统的`PATH`变量。 ```bash export SPARK_HOME=/usr/local/spark export PATH=$SPARK_HOME/bin:$PATH ``` 上述更改可以在用户的`.bashrc`文件中永久保存下来以便每次登录时自动加载这些配置[^1]。 #### 修改`spark-env.sh` 对于standalone集群来说,在`$SPARK_HOME/conf/`目录下的`spark-env.sh`文件里指定必要的参数非常重要。不同于其他部署方式,在这里无需定义`SPARK_MASTER_HOST`或`SPARK_MASTER_PORT`这样的属性;但是可能要指明Java家目录或者其他依赖项的位置。 ```bash cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh vi $SPARK_HOME/conf/spark-env.sh ``` 编辑后的文件应该至少包含如下几行: ```bash export JAVA_HOME=/path/to/java # 如果适用的话还可以加入更多自定义选项... ``` #### 启动Master节点和服务 一旦完成了前面几步的操作之后就可以启动master服务了。这可以通过简单的shell指令来实现: ```bash start-master.sh ``` 接着可以查看控制台输出确认它已经成功启动,并记下URL用于后续连接worker节点。 #### 添加Worker节点 同样地,每一个想要作为计算资源贡献者的机器都需要重复上面提到过的大部分步骤——即下载、解压缩软件包并将相应的环境变量添加到其本地环境中去。然后只需在一个新的终端窗口内运行下面这条命令即可让该计算机成为集群的一部分: ```bash start-slave.sh <master-url> ``` 其中`<master-url>`就是之前从master进程中获得的那个地址字符串[^2]。 #### 测试集群状态 最后一步是验证整个setup过程是否顺利完成。打开浏览器导航至http://localhost:8080 (假设是在同一主机上),应当能看到有关当前活跃workers的信息列表以及其他有用统计数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值