changshupx的博客

spark的WordCount 原理: 数据流分析： textFile(“in”)：读取本地文件input文件夹数据； flatMap(.split(" "))：压平操作，按照空格分割符将一行数据映射成一个个单词； map((,1))：对每一个元素操作，将单词映射为元组； reduceByKey(+)：按照key将值进行聚合，相加； collect：将数据收集到Driver端展示。 package day0904 import org.apache.spark.rdd.RDD import org.apa