云星数据-http://www.cloud-star.com.cn

1 Master启动流程 1、在start-master.sh脚本中调用Mater.scala中的main方法 2、在main方法中封装spark参数，并调用startRpcEnvAndEndpoint（）创建RpcEnv 3、在startRpcEnvAndEndpoint中创建RpcEnv（AkkaSystem），创建masterEndPoint（actor），new Master（），实

1 概述 ## 1.1 简介 ## Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。 利用内存数据存储和接近