qq_62257465的博客

原创 spark常用RDD算子

用法：>>>sc.parallelize([1,2,3,4,5,6]).take(5) 返回[1,2,3,4,5]功能：针对KV型RDD，自动按照key分组，然后根据你提供的聚合逻辑，完成组内数据（value）的聚合操作。rdd2=sc.parallelize([(1001,"科技部"),(1002,"销售部")])功能：对RDD的每一个元素，执行你提供的逻辑的操作（和map一个意思），但是这个方法没有返回值。初始list：lst=[[1,2,3],[4,5,6,]]