Spark简介与基本术语

一、Spark简介与优点：

Spark 是专为大规模数据处理而设计的开源、快速、通用的计算引擎。可以使用Java、Scala、Python、R 和 SQL 等语言调用API来执行spark 。Spark可以在Hadoop YARN、Apache Mesos 和独立集群管理器上运行。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Spark借鉴Hadoop MapReduce优点的同时，解决了MapReduce所面临的问题，相比Hadoop MapReduce,主要具有如下优点：

1、Spark的计算模式也属于MapReduce,但不局限于Map和Reduce操作，还提供了多种数据集操作类型，如：filter、flatMap、lookup 、reduce、groupByKey等，编程模式更加灵活；

2、Spark提供的内存计算，可将中间输出结果直接保存在内存中，而不需要读写HDFS磁盘文件，有数据验证执行逻辑回归的运行速度比Hadoop MapReduce提升100倍，但是，在磁盘上，它的运行速度也比Hadoop快10倍；

3、Spark基于DAG的任务调试执行机制，要优于Hadoop MapReduce迭代执行机制；

4、而且Spark生态与社区越来越活跃，很多厂家与开发人员加入Spark大本营；

Spark 生态系统

二、Spark常用术语：

RDD：是弹性分布式数据集（Res