本文探讨了在特定版本变更后，如何实现一个partition到新RDD的转换操作。通过使用`mapPartitionsWithIndex`方法，并设置`preservesPartitioning`参数为`true`，实现了保留分区属性的数据转换过程。此外，还展示了如何筛选并收集特定分区的数据。
3.14：
由于版本的变更，会导致某些程序和原来发生变化，比如书中（夏俊鸾等著）P21中的程序无法重现。
对于一个partition转化为一个新的RDD的操作，用compute、toList、sc.makeRDD实现； 或者：
val tmp = rdd.mapPartitionsWithIndex({(pid,iter)=>iter.map{e=>(pid,e)}}, preservesPartitioning=true)
val te = tmp.filter(_._1 == 1)
te.collect
扫一扫
1968
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
