【大数据分析】DataFrame，DataSets和SparkSQL

原创

已于 2022-08-11 11:35:09 修改 · 415 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #big data #hadoop

于 2022-06-08 11:43:02 首次发布

SparkSQL通过DataFrame和DataSet提供了高性能的数据处理能力，这得益于Tungsten的优化，包括紧凑的数据表示和序列化加速。用户可以通过UDFs和UDAFs扩展功能，同时查询优化器Catalyst会生成逻辑计划和物理计划，进行多阶段的优化。逻辑计划涉及解析、解析和优化，而物理计划则考虑了执行效率，如连接查询的优化和whole-stage code generation，进一步提升执行速度。

概述

Spark SQL组件中DataFrame，DataSets跟RDDs相比，会有比较大的性能优势。
在这里插入图片描述
（1）DataFrame和DataSet是一类带Schema的分布式数据结构。其中的Row对象不会造成额外的编译时类型检测成本。
（2）额外的schema信息可以提供更高效的存储层（Tungsten）。
（这里应该指的是DataFrame，DataSets这些存储数据结构，而不是HDFS等这些存储介质）
（3）基于schema信息可以在优化器（Catalyst）中实现更多的优化操作。

Tungsten

Tungsten是Spark的一种数据表达方法，它对Spark执行引擎进行了修改，最大限度地利用现代计算硬件资源，大幅提高了Spark应用程序的内存和CPU效率。基于Tungsten的数据表达法比使用Java和Kryo序列化出来的对象要小得多。Tungsten不依赖于Java对象，并且支持JVM的堆内（on-heap）和堆外（off-heap）内存分配。不仅格式更加紧凑，而且序列化的时间也更快。

UDFs和UDAFs

User-Defined Functions（UDFs）和User-Defined Aggregate Functions（UDAFs）可以用我们使用自定义的代码来扩展Spark DataFrame和SQL相关的API，否则就可能需要暂时将DataFrame转成RDD，完成转换操作之后，再转换回来，而这会造成一定程度的资源消耗。