大数据处理框架Spark：Spark On Yarn的两种模式总结

大数据处理框架Spark：Spark On Yarn的两种模式总结

Spark是一种快速且通用的大数据处理框架，可以在分布式环境中高效地运行。Spark提供了多种部署模式，其中一种常见的方式是将Spark与Yarn集成，以实现资源管理和作业调度。在本文中，我们将总结Spark On Yarn的两种模式：客户端模式和集群模式，并提供相应的源代码示例。

1. 客户端模式（Client Mode）
   在客户端模式下，Spark驱动程序运行在客户端机器上，负责提交作业和与Yarn资源管理器进行通信。Yarn资源管理器负责分配和管理集群上的资源，并协调执行Spark任务。在这种模式下，客户端机器必须具备足够的计算和存储资源，以执行Spark作业的驱动程序。

以下是一个使用客户端模式提交Spark作业的示例代码：

from pyspark.sql import SparkSession

# 创建SparkSession对象
spark = SparkSession.builder \
    .appNam