spark 集群使用手册

最新推荐文章于 2025-05-05 22:30:19 发布

AQ_cainiao_AQ

最新推荐文章于 2025-05-05 22:30:19 发布

阅读量897

点赞数

CC 4.0 BY-SA版权

分类专栏： python 大数据开发

本文链接：https://blog.youkuaiyun.com/AQ_cainiao_AQ/article/details/78979567

本文档详述了在浪潮集群上搭建Spark的步骤，包括使用YARN作为集群管理器，启动Hadoop和Spark节点，查看进程，以及通过Spark Shell执行并行计算任务。介绍了parallelize函数的使用，并提到了通过pyspark接口和spark-submit提交Python程序的方法。最后，给出了程序结束时关闭Spark和Hadoop的顺序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

采用浪潮集群搭建Spark的四个节点（cu01,cu02,cu03,cu04），Spark和hadoop已经安装好。使用hadoop 的yarn集群管理器。
1.启动hadoop

[wangj@mu01 ~]$ssh cu01           #进入主节点
[wangj@controller ~]$ cd /opt/software/hadoop/
[wangj@controller hadoop]$ cd hadoop-2.7.4/
[wangj@controller hadoop-2.7.4]$ sudo ./sbin/start-all.sh
#启动hadoop