spark教程1 (cdh5.12 安装自带spark)

最新推荐文章于 2024-02-21 09:34:02 发布

lief2liu

最新推荐文章于 2024-02-21 09:34:02 发布

阅读量2.7k

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 spark yarn cloudrea cdh

本文链接：https://blog.youkuaiyun.com/qq_40887813/article/details/80463778

本文详细介绍如何在Cloudera CDH环境中部署Spark集群的过程，包括添加Spark服务、配置YARN资源参数及验证Spark运行状态等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.在主页选择添加服务
2.选择spark
3.按步骤走下去，分配好history server和gateway 角色，我这里选择一个节点作为history server，所有节点作为gateway，添加好并启动好spark后如下
4.配置yarn服务，给节点添加yarn的gateway角色，然后重启yarn
5.修改一下yarn的yarn.scheduler.maximum-allocation-mb参数和yarn.nodemanager.resource.memory-mb参数，默认是1g比较小，可以先设置到2g，然后重启yarn
6 可通过以下代码检查spark是否正常运行

[hdfs@t0 bin]$ /opt/cloudera/parcels/CDH/lib/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/spark/lib/spark-examples.jar 10