Spark primer 之wordcount 剖析（添加 spark按照单词出现次数排名）

最新推荐文章于 2021-05-10 19:02:18 发布

honghuAdaLab

最新推荐文章于 2021-05-10 19:02:18 发布

阅读量560

点赞数

CC 4.0 BY-SA版权

分类专栏： spark-prim

本文链接：https://blog.youkuaiyun.com/honghuAdaLab/article/details/49251711

spark-prim 专栏收录该内容

5 篇文章

订阅专栏

本文详细介绍了如何使用 Scala 和 Apache Spark 进行文本文件中单词计数的操作，包括读取 HDFS 中的文件、使用 flatMap 和 map 函数进行数据处理、应用 reduceByKey 对单词进行聚合，并最终对结果进行排序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package main.scala.com.spark.demo.com.com.spark.demo
import org.apache.spark.{SparkContext, SparkConf}
object NewWordCount {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("wordCount").setMaster("local")
    val sc = new SparkContext(conf)
    val rdd = sc.textFile("hdfs://master:9000/data01/words.txt")//your file address
    rdd.cache()
rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)
//按照 单词出现次数排序
 rdd.flatMap(_.split("")).map((_,1)).reduceByKey(_+_).map(e=(e._2,e._1)).sortByKey(false).collect

  }
}

（1）rdd.flatMap(_.split(” “))的返回值：
words.txt的文件内容为：

在spark shell中输入 rdd.flatMap(_.split(” “)).collect 看回显

（2）rdd.flatMap(.split(” “)).map((,1))的返回值

我们发现已经将数组中每个元素转换成元组（hello,1）…
(3)然后reduceBykey后看结果

（4）按照单词出现次数排序，首先交换元组顺序，即（hello,1）变为（1，hello）
然后使用sortByKey(false),指定false按照降序排序
代码为