Spark 学习

1 hadoop 和 spark 的区别， hadoop是为一次性计算而生，利用磁盘空间进行计算；

spark为迭代式计算而生，利用内存空间进行计算；

hadoop和spark是属性并列的两种计算框架，存在很多衍生产品。

spark是具有流处理功能的批处理框架。

根本差异是 hadoop计算基于磁盘，spark基于内存 ；

spark优点 计算速度快，

局限：内存资源占用空间大，耗费空间空间不足会执行失败；

2 spark四大核心模块（组件）

SparkSql -处理结构化数据

Spark streaming -- 流式

sparkMLlib 机器学习

SparkGrapghX 图形处理

3 SparkSQL 和 hive on spark 的区别 ：参考了https://blog.youkuaiyun.com/yeruby/article/details/51448188

Spark特点

• Spark可以部署在YARN上
• Spark原生支持对HDFS文件系统的访问
• 使用Scala语言编写：

1 SparkSQL：

它主要用于结构化数据处理和对Spark数据执行类SQL的查询。通过Spark SQL，可以针对不同格式的数据执行ETL操作（如JSON，Parquet，数据库）然后完成特定的查询操作。一般来说，Spark每支持一种新的应用开发，都会引入一个新的Context及相应的RDD，对于SQL这一特性来说，引入的就是SQLContext和SchemaRDD。注意：在Spark1.3之后，SchemaRDD已经更名为DataFrame，但它本质就类似一个RDD，因为可以将DataFrame无缝的转换成一个RDD。

Spark SQL的两个组件
SQLContext：Spark SQL提供SQLContext封装Spark中的所有关系型功能。可以用之前的示例中的现有SparkContext创建SQLContext。
DataFrame：DataFrame是一个分布式的，按照命名列的形式组织的数据集合。DataFrame基于R语言中的data frame概念，与关系型数据库中的数据库表类似。通过调用将DataFrame的内容作为行RDD（RDD of Rows）返回的rdd方法，可以将DataFrame转换成RDD。可以通过如下数据源创建DataFrame：已有的RDD、结构化数据文件、JSON数据集、Hive表、外部数据库。

2 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。
 

3 区别：

SparkSQL和Hive On Spark都是在Spark上实现SQL的解决方案。Spark早先有Shark项目用来实现SQL层，不过后来推翻重做了，就变成了SparkSQL。这是Spark官方Databricks的项目，Spark项目本身主推的SQL实现。Hive On Spark比SparkSQL稍晚。Hive原本是没有很好支持MapReduce之外的引擎的，而Hive On Tez项目让Hive得以支持和Spark近似的Planning结构（非MapReduce的DAG）。所以在此基础上，Cloudera主导启动了Hive On Spark。

结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序