Spark-概述、目录文件构成、spark shell、SparkUI

1）Spark是什么？

Spark 是一个用来实现快速而通用的集群计算的平台。

在速度方面，Spark 扩展了广泛使用的MapReduce 计算模型，而且高效地支持更多计算模
式，包括交互式查询和流处理。

Spark 的一个主要特点就是能够在内存中进行计算，因而更快。不过即使是必须在磁盘上

进行的复杂计算，Spark 依然比MapReduce 更加高效。

2）spark软件栈

Spark Core：Spark Core 实现了Spark 的基本功能，包含任务调度、内存管理、错误恢复、与存储系统 交互等模块。Spark Core 中还包含了对弹性分布式数据集（resilient distributed dataset，简称RDD）的API 定义

Spark SQL 是Spark 用来操作结构化数据的程序包。

Spark Streaming 是Spark 提供的对实时数据进行流式计算的组件。

Spark 中还包含一个提供常见的机器学习（ML）功能的程序库，叫作MLlib。

GraphX 是用来操作图（比如社交网络的朋友关系图）的程序库，可以进行并行的图计算。

集群调度器：Spark 设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性，Spark 支持在各种集群管理器（clustermanager）上运行&