Spark SQL, DataFrames and Datasets Guide

概述：

Spark SQL是用于结构化数据处理的Spark模块。 与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关正在执行的数据和计算结构的更多信息。 在内部，Spark SQL使用这些额外的信息执行额外的优化。 有几种与Spark SQL进行交互的方法，包括SQL和Dataset API。 当计算结果时，使用相同的执行引擎，独立于您用来表达计算的API /语言。 这种统一意味着开发人员可以轻松地在不同API之间来回切换，从而提供最自然的方式来表达给定的转换。

SQL:

Spark SQL的一个用途是执行SQL查询。 Spark SQL也可用于从现有的Hive安装中读取数据。 有关如何配置此功能的更多信息，请参阅Hive Tables部分。 当从另一种编程语言运行SQL时，结果将作为Dataset / DataFrame返回。 您还可以使用命令行或JDBC / ODBC与SQL界面进行交互。

Datasets和DataFrames

Dataset是分布式数据集合，Dataset是Spark 1.6中增加的一个新接口，它提供了RDD（强类型，使用强大的lambda函数的功能）的好处，并具有Spark SQL优化的执行引擎的优点。可以从JVM对象构建Dataset，然后使用转换函数（map，flatMap，filter等）进行操作。Dataset API可用于Scala和Java。 Python不支持Dataset API。但是由于Python的动态特性，Dataset API的许多优点已经可用（即您可以通过名称自然地访问行的字段row.columnName）。 R的情况类似。


DataFrame是一个组织成命名列的DataSet。它在概念上等同于关系数据库中的表或R / Python中的数据框架，但在引擎盖下更加优化。 DataFrames可以从各种各样的源构建，例如：结构化数据文件，Hive中的表，外部数据库或现有RDD。 DataFrame API在Scala，Java，Python和R中可用。在Scala和Java中，DataFrame由DataSet row表示。在Scala API中，DataFrame只是Dataset [Row]的一个类型别名。而在Java API中，用户需要使用Dataset <Row>来表示DataFrame。


在本文档中，我们经常将Scala / Java数据集的Rows称为DataFrames。

入门：

起点：SparkSession

，，，，，