Scala 词频统计WordCount实例

最新推荐文章于 2024-05-31 08:58:35 发布

原创

最新推荐文章于 2024-05-31 08:58:35 发布 · 645 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#Scala

1. 实现一个词频统计的demo。

import java.io.File
import scala.io.Source

object WordCount {
  def main(args: Array[String]): Unit = {
    val dir_file = new File("data")
    val file_list = dir_file.listFiles().toList
    for (f <- file_list) println(f)
    val words_map = scala.collection.mutable.Map[String,Int]()
    file_list.foreach(
      Source.fromFile(_).getLines()     // 处理每一个文件
        .foreach(_.split(" ")    // 处理每一行
        .foreach(word => {
          if(words_map.contains(word)){
            words_map(word) += 1
          } else {
            words_map += (word -> 1)
          }
        }))
    )

    for(kv <- words_map) println(kv._1 + ": " + kv._2)
  }
}

2. 使用rdd进行优化

package com.zz.spark

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{Dataset, SparkSession}

object WordCount {
  def main(args: Array[String]): Unit = {