fwk19840301的博客

Spark核心组件 Driver 将用户程序转化为作业（job） 在Executor之间调度任务(task) 跟踪Executor的执行情况 通过UI展示查询运行情况 Executor Spark Executor是集群中工作节点（Worker）中的一个JVM进程，负责在 Spark 作业中运行具体任务（Task），任务彼此之间相互独立。 负责运行组成Spark应用的任务，并将结果返回给驱动器进程 它们通过自身的块管理器（Block Manager）为用户程序中要求缓存的 RDD 提供...

什么是Spark 官网：http://spark.apache.org Apache Spark™ is a unified analytics engine for large-scale data processing. Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2...