SparkSQL

1.Hive：

表的类型：内部表、外部表、临时表、分区表（动态、静态）分桶表

创建各种表的关键字：
外部表：external
临时表：TEMPORARY
分区表：partitioned by (dt string)
分桶表：CLUSTERED BY

---

2.SparkSQL:

Hive依赖于HDFS和MR，而SparkSQL依赖有HDFS和Spark core

2.1.Shark：

Shark是SparkSQL的最开始的一个版本，后来改名为SparkSQL。

Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MR的Hive普遍快2倍。（Spark如果基于磁盘的话，比MR快10倍以上，基于内存的话，快100倍以上）当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。

除了基于Spark的特性外，Shark是完全兼容Hive的语法，表结构以及UDF函数等，已有的HiveSql可以直接进行迁移至Shark上

Shark底层依赖于Hive的解析器，查询优化器，但正是由于SHark的整体设计架构对Hive的依赖性太强，难以支持其长远发展，比如不能和Spark的其他组件进行很好的集成，无法满足Spark的一栈式解决大数据处理的需求

当有一个sql语句传给Shark,它底层的解析器，查询优化器把sql解析成一个个Spark任务，底层的解析器，优化器都是HIive的

2.2Spark官网：http://spark.apache.org/

2.2.1官网信息

速度：

时间对比图：

Spark生态圈：
2.2.2运行过程：

SparkSQL:
优点：底层的解析器，优化器都是自己的。

2.2.3产生关系：

Hive是Shark的前身，Shark是SparkSQL的前身

相对于Shark，SparkSQL有什么优势呢？

1.SparkSQL产生的根本原因，其完全脱离了Hive的限制

2.SparkSQL支持查询原生的RDD，这点就极为关键了。RDD是Spark平台的核心概念，是Spark能够高效的处理大数据的各种场景的基础

3.能够在Scala中写SQL语句。支持简单的SQL语法检查，能够在Scala中写Hive语句访问Hive数据，并将结果取回作为RDD使用

2.2.4最近新出的组合名称：

SparkSQL on Hive:(常用)
Hive只是作为了存储的角色
SparkSQL作为计算的角色

Hive on Spark:
Hive承担了一部分计算（解析SQL，优化SQL…）的和存储
Spark作为了执行引擎的角色

3.DataFrame:

3.1DataFrame介绍：

与RDD类似，DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格，除了数据以外，还掌握数据的结构信息，即schema。同时，与Hive类似，DataFrame也支持嵌套数据类型（struct、array和map）。从API易用性的角度上 看，DataFrame API提供的是一套高层的关系操作，比函数式的RDD API要更加友好，门槛更低

在SparkSQL中，一切计算都基于DataFrame.。DataFrame底层封装的是 RDD，SparkSQL底层封装的是SparkCore.DataFrame可以理解为二维表

3.2RDD vs DataFrame

对于一个RDD，想要拿到每个Person对象的Name值：需要一条条的遍历，把对象放在内存中，再去解析拿到想到的属性，会产生冗余数据（还有其他属性的存在，极大的占用了内存）
而对于DataFrame，是有行有列的。当想拿到哪个属性时，直接拿出相应的列即可。

3.3SprkSQL所能接收的数据源：

3.4SparkSQL的底层架构：