spark wordCount单词计数及原理解析

最新推荐文章于 2025-06-19 15:19:16 发布

原创最新推荐文章于 2025-06-19 15:19:16 发布 · 1.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark 单词计数

spark学习之路专栏收录该内容

19 篇文章

订阅专栏

本文介绍了一个使用Apache Spark实现的WordCount程序，详细解析了从读取HDFS文件到完成单词计数的整个流程。该程序首先配置Spark环境，然后通过flatMap操作将文本拆分为单词，再利用map操作为每个单词标记计数，最后使用reduceByKey操作汇总每个单词的出现次数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark wordCount单词计数及原理解析

package cn.spark.study.core
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object WordCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("WordCount")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("hdfs://cloud1:9000/a.txt", 1)
    val words = lines.flatMap { line => line.split(" ") }
    val pairs = words.map { word => (word, 1) }
    val wordCounts = pairs.reduceByKey { _ + _ }
    wordCounts.foreach(wordCount => println(wordCount._1 + "---->" + wordCount._2))

  }
}