本文解析了使用Apache Spark进行单词计数的具体流程，包括读取文件、分词、映射、规约等阶段，并展示了如何通过不同阶段的RDD转换来实现这一过程。
sc.textFile("README.md").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_ + _).collect
sc.textFile("README.md").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey((a,b) => a + b).collect
总结：
第一个stage :
HadoopRDD -> MapPartitionRDD -> MapPartitionsRDD -> MapPartitionsRDD -> MapPartitionsRDD
第二个stage :
Stage shuffledRDD -> MapPartitionsRDD
本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5906198.html，如需转载请自行联系原作者
扫一扫
1113
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
