Spark自学之路（九）——Spark SQL，DataFrames 和 Datasets

最新推荐文章于 2024-04-21 07:28:17 发布

翻译最新推荐文章于 2024-04-21 07:28:17 发布 · 661 阅读

Spark 专栏收录该内容

14 篇文章

订阅专栏

本文探讨了SparkSQL模块及其在结构化数据处理中的作用，对比了SparkSQL与基本SparkRDDAPI的区别，介绍了通过SQL和DatasetAPI与SparkSQL交互的方法。详细解释了数据集和数据帧的概念，以及它们在Spark1.6及以后版本中的优势，特别是在优化执行方面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark SQL，DataFrames 和 Datasets

Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部，Spark SQL使用此额外信息来执行额外的优化。有几种与Spark SQL交互的方法，包括SQL和Dataset API。在计算结果时，使用相同的执行引擎，与您用于表达计算的API /语言无关。这种统一意味着开发人员可以轻松地在不同的API之间来回切换，从而提供表达给定转换的最自然的方式。

SQL

Spark SQL的一个用途是执行SQL查询。 Spark SQL还可用于从现有Hive安装中读取数据。从另一种编程语言中运行SQL时，结果将作为数据集/数据框返回。您还可以使用命令行或JDBC / ODBC与SQL接口进行交互。

Datasets and DataFrames

数据集是分布式数据集合。 Dataset是Spark 1.6中添加的一个新接口，它提供了RDD的优势（强类型，使用强大的lambda函数的能力）以及Spark SQL优化执行引擎的优点。数据集可以从JVM对象构造，然后使用功能转换（map，flatMap，filter等）进行操作。数据集API在Scala和Java中可用。 Python没有对Dataset API的支持。但由于Python的动态特性，数据集API的许多好处已经可用（即您可以通过名称自然地访问行的字段row.columnName）。 R的情况类似。
DataFrame是组织到指定列中的数据集。它在概念上等同于关系数据库中的表或R / Python中的数据框，但是在底层有更丰富的优化。DataFrame可以从多种来源构建，例如：结构化数据文件，Hive中的表，外部数据库或现有RDD。 DataFrame API在Scala，Java，Python和R中可用。在Scala和Java中，DataFrame由行数据集表示。在Scala API中，DataFrame只是Dataset [Row]的类型别名。而在Java API中，用户需要使用数据集<Row>来表示DataFrame。

以上翻译自spark官网文档，下面的学习计划，一方面继续翻译spark官网文档，另一方面结合一些源码。