07、Spark集群的进程管理

最新推荐文章于 2024-10-31 20:06:00 发布

weixin_30376453

最新推荐文章于 2024-10-31 20:06:00 发布

阅读量134

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/xupccc/p/9544597.html

博客主要介绍了Spark standalone集群模式的进程管理，涉及master和worker两个守护进程，其中master是管理节点，worker是工作节点。此外，还提到Spark提供了方便启动或停止进程的脚本，风格与Hadoop相似。

07、Spark集群的进程管理

7.1 概述

Spark standalone集群模式涉及master和worker两个守护进程。master进程是管理节点，worker进程是工作节点。spark提供了很多方便启动或停止进程的脚本，风格和hadoop相似。

7.2 启动脚本

#启动所有spark进程包括master和worker，该命令在maste节点执行
$>start-all.sh

#启动Master进程，该命令需要在master节点执行
$>start-master.sh

#启动所有worker节点，该命令在master节点执行
$>start-slaves.sh

#单独启动worker节点，该命令在worker节点上执行
$>start-slave.sh spark://s101:7077

7.3 停止脚本

#停止所有spark进程包括master和worker，该命令在maste节点执行
$>stop-all.sh

#停止Master进程，该命令需要在master节点执行
$>stop-master.sh

#停止所有worker节点，该命令在master节点执行
$>stop-slaves.sh

#单独停止worker节点，该命令在worker节点上执行
$>stop-slave.sh spark://s101:7077

转载于:https://www.cnblogs.com/xupccc/p/9544597.html