Scala中的流程（包括：sc.textfile=>flatmap=>map=>reduceByKey等阶段，以及输出分区的个数）【Scala纯代码】

道法—自然

于 2018-07-21 13:41:52 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/wyqwilliam/article/details/81143911

本文介绍了一个使用Apache Spark进行单词频率统计的例子。通过读取文件，将每一行拆分为单词，并利用flatMap、map和reduceByKey等操作实现单词计数。最后展示了如何对结果进行排序并打印。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package com.bjsxt.spark

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object map {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("test").setMaster("local")
val sc=new SparkContext(conf)
val lines=sc.textFile("./words");
val words =lines.flatMap(line=>{
line.split(" ")
})
val pairWords=words.map(word=>{
new Tuple2(word,1)

})
println("pairwords partitions ="+pairWords.partitions.length)
val reduceResult=pairWords.reduceByKey((v1,v2)=>{v1+v2},3)
println("pairwords partitions ="+reduceResult.partitions.length)
val result =reduceResult.sortBy(tuple=>{tuple._2},false)
result.foreach(tuple=>{
println(tuple)
})




sc.stop()

}

}