超级会员免费看
本文介绍了Spark的大数据处理基础知识，包括Executor、Task、Job和Stage的概念，详细讲解了Spark集群运行架构，以及从注册资源到任务执行结束的基本流程，涉及Spark在不同模式下的运行方式。
文章目录
零、本讲学习目标
- 了解Spark集群运行架构
- 了解Spark运行基本流程
一、基本概念
（一）Executor（执行器）
- 在集群工作节点上为某个应用启动的工作进程，该进程负责运行计算任务，并为应用程序存储数据。
（二）Task（任务）
- 运行main()方法并创建SparkContext的进程。
（三）Job（作业）
- 一个并行计算作业，由一组任务组成，并由Spark的行动算子（如：save、collect）触发启动。
（四）Stage（阶段）
- 每个Job可划分为更小的Task集合，每组任务被称为Stage。
二、Spark集群运行架构
- Spark运行架构主要由SparkContext、Cluster Manager和Worker组成，其中Cluster Manager负责整个集群的统一资源管理，Worker节点中的<
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
