scala-WordCount 简单项目练习

最新推荐文章于 2023-11-20 15:31:37 发布

reddy_Hu

最新推荐文章于 2023-11-20 15:31:37 发布

阅读量212

点赞数

CC 4.0 BY-SA版权

分类专栏： scala 文章标签： scala

本文链接：https://blog.youkuaiyun.com/reddy_Hu/article/details/107617593

scala 专栏收录该内容

9 篇文章

订阅专栏

本文详细介绍了使用 Scala 编程语言实现 WordCount 的过程。通过 List 的 flatMap、map 和 groupBy 方法对文本进行单词计数，展示了如何利用元组进行数据处理，以及如何对结果进行排序和聚合操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package com.doit.scala.day02
import scala.collection.immutable

object WordCount {
  def main(args: Array[String]): Unit = {
    val lines: immutable.Seq[String] = List("spark hadoop flink spark", "hadoop flink spark hadoop", "spark hadoop flink spark")
    val list: immutable.Seq[(String, Int)]  = lines.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).map(t => (t._1, t._2.length)).toList.sortBy(-_._2)
   // println(list)
    //先对List扁平化 flat 切分 split
    val strings = lines.flatMap(_.split(" "))
    //将每一个单词放入元组(x,1) 中
    val wordAndOne: immutable.Seq[(String, Int)] = strings.map((_, 1))
    //将已经装进元组的List数据按照(x,1)的分组
    val grouped: Map[String, immutable.Seq[(String, Int)]] = wordAndOne.groupBy(_._1)
    //聚合
    val reduce: Map[String, Int] = grouped.map(t => (t._1, t._2.size))
    //转成List,排序
    val list1 = reduce.toList
    //降序排列
    val tuples: immutable.Seq[(String, Int)] = list1.sortBy(-_._2)
    //先正序排列再反转
    val tuples2: immutable.Seq[(String, Int)] = list1.sortBy(_._2).reverse
    println(tuples) //List((spark,5), (hadoop,4), (flink,3))

  }
}