spark 集群搭建*（3节点）

最新推荐文章于 2022-07-20 16:25:05 发布

原创最新推荐文章于 2022-07-20 16:25:05 发布 · 590 阅读

0 ·

CC 4.0 BY-SA版权

sprark 专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何在Hadoop环境中安装配置Spark集群，并通过不同模式运行Spark应用程序进行测试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark环境安装

一．下载安装

下载地址：http://spark.apache.org/downloads.html

Standalone模式的spark集群虽然不依赖于yarn，但是数据文件存在hdfs，所以需要hdfs集群启动成功

这里下载包也要根据hadoop集群版本启动

比如hadoop2.5.2需要下载spark-1.4.0-bin-hadoop2.4.tgz

下载解压进入解压缩目录

二．配置启动

进入conf目录发现只有slaves.template和spark-env.sh.template，这里可以拷贝一份把template的后缀去掉

配置slaves，里面配置从节点的主机名或者ip，例如

vim slaves

node1

node2

node3

配置spark-env.sh，和JAVA_HOME

export JAVA_HOME=/opt/soft/jdk1.7.0_79

export SPARK_MASTER_IP=master

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_MEMORY=512m

注意：如果想要跑spark on yarn则需要配置HADOOP_CONF_DIR

在spark-env.sh或者/etc/profile下面配置都可以

二．测试

访问192.168.57.4:8080能看到web界面

执行命令./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100

附录：

不同运行模式的命令不同

1. standalone client模式

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100

2. standalone cluster模式

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://spark001:7077 --deploy-mode cluster --supervise --executor-memory 512M --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100

3. on yarn client模式

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client --executor-memory 512M --num-executors 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100

4. on yarn cluster模式

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 512m --num-executors 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100