【spark原理系列】 dataset api比rdd好在哪里？

原创

已于 2024-01-15 20:33:21 修改 · 1.1k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #分布式

于 2023-11-25 00:05:00 首次发布

本文探讨了Spark Dataset API相比RDD的优点，包括内置的数据源支持、SQL查询、Tungsten和Catalyst优化，以及跨语言的统一API。DataFrame API简化了机器学习流程，特别是在特征转换和构建管道方面。此外，从Spark 2.0开始，基于DataFrame的MLlib API成为主要的机器学习接口，提供了更好的用户体验和性能提升。

spark dataset/DataFrame比RDD好在哪里？点击这里也能看全文

简介

相对于RDD，DataFrame提供了更加用户友好的API。DataFrame带来的诸多好处包括：

Spark数据源、SQL/DataFrame查询、Tungsten和Catalyst优化以及跨语言的统一API。还有基于DataFrame的MLlib API为机器学习算法和多种语言提供了统一的API。DataFrame便于构建实际的机器学习管道，尤其是特征转换。

好在这里

1. Spark数据源：

DataFrame提供了内置的数据源连接器，使得读取和写入各种数据格式（如Parquet、Avro、JSON等）更加简单和直观。
DataFrame支持结构化数据的自动推断和模式定义，可以轻松处理带有模式信息的数据集。
我整理里一下有十种数据（CSV文件、JSON文件、Parquet文件、ORC文件、Avro文件、文本文件、Hive表、JDBC连接的其他数据库、Protobuf、二进制数据；具体示例用法看这篇文章）

Spark DataFrame可以读取多少种数据？详细示例

示例：

# 通过DataFrame读取Parquet文件
df = spark.read.parquet("data.parquet")

# 通过DataFrame将数据写入CSV文件
df.write.csv("output.csv")

2. SQL/DataFrame查询：

DataFrame提供了SQL样式的查询操作，使得数据查询更加直观和简洁。
DataFrame API提供了丰富的操作函数和表达式，可以进行复杂的数据转换和计算。

示例：

# 使用DataFrame进行查询
resultDF = df.select("name", "age")

最低0.47元/天解锁文章