Spark的代码模块

scheduler：负责整体的Spark应用、任务调度的代码。

broadcast：Broadcast（广播变量）的实现代码

deploy：含有Spark部署与启动运行的代码。

common：不是一个文件夹，而是代表Spark通用的类和逻辑实现

metrics：运行时状态监控逻辑代码，Executor中含有Worker节点负责计算的逻辑代码。

partial：含有近似评估代码。

network：含有集群通信模块代码。

serializer：含有序列化模块的代码。

storage：含有存储模块的代码。

ui：含有监控界面的代码逻辑。其他的代码模块分别是对Spark生态系统中其他组件的实现。

streaming：是Spark Streaming的实现代码。

YARN：是Spark on YARN的部分实现代码。

graphx：含有GraphX实现代码。

interpreter：代码交互式Shell的代码量为3300行。

mllib：代表MLlib算法实现的代码量。

sql代表Spark SQL的代码量

转载于:https://www.cnblogs.com/TerrenceYtq/p/5145065.html