Spark Standalone 集群部署图文分享

最新推荐文章于 2024-07-20 01:01:27 发布

原创最新推荐文章于 2024-07-20 01:01:27 发布 · 141 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Spark

Spark之路专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍了Hadoop的安装过程，并指导如何配置Spark集群。包括SSH无密码登录设置、Spark的下载与解压、配置文件修改、环境变量配置、SparkStandalone集群部署及启动Spark。

[size=x-large][b]JDK和Scala的安装[/b][/size]

请参阅Hadoop安装文章里的说明：[url]http://congli.iteye.com/blog/2158007[/url]

[size=x-large][b]SSH无密码登录[/b][/size]
请参阅Hadoop安装文章里的说明：[url]http://congli.iteye.com/blog/2158007[/url]

[size=x-large][b]Spark的下载和安装包解压[/b][/size]

1、下载spark，我用的是1.1.0 for hadoop2.4版本，不用自己编译（[color=blue]暂时没有需要编译的需求，且编译需要下载jar包等，有些被墙了，先用编译好的[/color]）
2、用hadoop用户解压安装：

tar zxf /home/spark/spark-1.1.0-bin-hadoop2.4.tgz

如果是因为权限问题请chown给hadoop用户

chown -R hadoop:hadoop /app

3、为了好记，所以我会给spark改下名字

 mv spark-1.1.0-bin-hadoop2.4/ spark110

[size=x-large][b]Spark配置文件的配置[/b][/size]

4、进入配置目录

 cd /app/spark110/conf/

5、节点的配置：删除localhost,再添加hadoo1、hadoop2、hadoop3

vi slaves

[img]http://dl2.iteye.com/upload/attachment/0103/3848/d271b955-a67d-3046-a0d6-41f367dcb1ed.png[/img]

6、配置spark的运行环境，先从模板进行拷贝

cp spark-env.sh.template spark-env.sh

然后编辑

vi spark-env.sh

然后在最后插入：

export JAVA_HOME=/home/jvm/jdk1.8.0_25
export SPARK_MASTER_IP=hadoop1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=1g

[color=red]配置项说明(根据环境，自行配置)：[/color]
[quote][color=red]export SPARK_WORKER_CORES=1 一个worker用的核
export SPARK_WORKER_INSTANCES 一台机器开启多少个worker
export SPARK_WORKER_MEMORY=1g 用多少内存[/color][/quote]

[size=x-large][b]环境变量的配置[/b][/size]

环境变量配置（需要各个节点都配置），这里我就不细说了，请大家参阅上一篇文章的配置环境变量章节进行配置
传送门：[url]http://congli.iteye.com/blog/2158007[/url]

[size=x-large][b]Spark Standalone集群部署[/b][/size]
将spark配置完成的目录copy到各个节点

scp -r spark110 hadoop@hadoop2:/app/spark110/
scp -r spark110 hadoop@hadoop3:/app/spark110/

[size=x-large][b]启动Spark[/b][/size]
现在启动Spark

sbin/start-all.sh

[size=x-large][b]验证Spark安装是否完成[/b][/size]

我们访问一下
http://hadoop1:8080/ 会看到如下图的界面，里面可以看到有3个节点，正是我们配置的hadoop1、hadoop2、hadoop3

[img]http://dl2.iteye.com/upload/attachment/0103/3850/7167e07d-d6ba-3ffe-a797-6ae6f21648df.png[/img]
[b]至此，我们的Spark集群就已经安装好了，如果开启Spark-Shell以及运行例子等，我之后会再开贴记录。[/b]