本文深入解析RDD的各种操作，如first(), head(), show(), take(), collect()和tail()等方法的底层实现与应用场景。详细阐述了这些方法如何触发Spark作业执行，以及在大数据处理中可能遇到的内存溢出问题。
first() = head(1) head() 底层调用 take()
show() 底层调用的take() 多了一层类型转换 将值转化为字符串 多了truncate参数，截取字符串功能,RDD没有show方法
take() 调用 collect() + limit()，如果这里面传入的n非常大，会导致OutOfMemoryError，这个方法应该只在预期结果数组很小的情况下使用，因为所有的数据都被加载到驱动程序的内存中。由于内部实现的复杂性，如果在无或空的RDD上调用此方法，将引发异常。
collect()触发runjob()执行任务，这个方法应该只在预期结果数组很小的情况下使用，因为所有的数据都被加载到驱动程序的内存中。如果数据量很大会导致OutOfMemoryError
tail() 返回dataframe最后一行，可能会OOM
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
