spark集群使用相关

原创已于 2022-03-31 22:12:10 修改 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #spark使用 #spark客户端

于 2022-03-31 22:11:03 首次发布

本文详细介绍了Spark Standalone集群和Spark on YARN的部署步骤，包括所需组件、配置及测试方法。重点讲解了如何使用spark-submit提交任务，并提供了官方文档链接以供参考。此外，还提到了Spark高可用性的设置建议。

spark standalone集群部署

只需ssh+jdk+spark-with-hadoop+[zookeeper(HA)]

spark on yarn集群部署

需要ssh+jdk+hadoop+yarn+spark+[zookeeper(HA)]
spark-shell --master yarn

查看集群情况

http://:4040/
http://:8080/

集群内测试：

bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://cdh1:7077 examples/jars/spark-examples_2.11-2.4.0.jar 2
run-example SparkPi 10
val textFile = spark.read.textFile(“file:///root/abc”) #spark读取本地文件每个节点同样路径都要有数据文件，HDFS可以共享，有一份就可以了
textFile.count()
val nums = sc.parallelize(List(1,2,3,4,5))
nums.count()

集群外客户端测试

bin/spark-submit
–class org.apache.spark.examples.JavaSparkPi
–master spark://cdh1:7077
–total-executor-cores 2
–num-executors 1
–driver-memory 512m
–executor-memory 512m
–executor-cores 1
examples/jars/spark-examples_2.11-2.4.0.jar 2
或者
bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://cdh1:7077 --driver-memory 512m --executor-memory 512m --total-executor-cores 2 --executor-cores 1 examples/jars/spark-examples_2.11-2.4.0.jar 2
或者
bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://cdh1:7077 examples/jars/spark-examples_2.11-2.4.0.jar 2
#注意，要先在客户集群中每个节点的hosts添加客户机的ip-主机名