Spark DataFrame 相关函数汇总

最新推荐文章于 2025-07-21 00:36:01 发布

原创

最新推荐文章于 2025-07-21 00:36:01 发布 · 2.4k 阅读

6 ·

CC 4.0 BY-SA版权

这篇博客详细总结了Spark DataFrame的各种操作，包括Action操作如collect()、count()、show()等，基本操作如cache()、columns、schema等，以及集成查询方法如agg()、groupBy()、join()等。通过这些函数，可以对DataFrame进行数据处理、统计分析和数据转换。

DataFrame 的函数
Action 操作
1、 collect() ,返回值是一个数组，返回dataframe集合所有的行
2、 collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行
3、 count() 返回一个number类型的，返回dataframe集合的行数
4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, stddev, min, and max)，这个可以传多个参数，中间用逗号分隔，如果有字段为空，那么不参与运算，只这对数值类型的字段。例如df.describe("age", "height").show()
5、 first() 返回第一行，类型是row类型
6、 head() 返回第一行，类型是row类型
7、 head(n:Int)返回n行，类型是row 类型
8、 show()返回dataframe集合的值默认是20行，返回类型是unit
9、 show(n:Int)返回n行，，返回值类型是unit
10、 table(n:Int) 返回n行，类型是row 类型

dataframe的基本操作
1、 cache()同步数据的内存
2、 columns 返回一个string类型的数组，返回值是所有列的名字
3、 dtypes返回一个string类型的二维数组，返回值是所有列的名字以及类型
4、 explan()打印执行计划物理的
5、 explain(n:Boolean) 输入值为 false 或者true ，返回值是unit 默认是false ，如果输入true 将会打印逻辑的和物理的
6、 isLocal 返回值是Boolean类型，如果允许模式是local返回true 否则返回false
7、 persist(newlevel:StorageL