Spark学习总结一单词计数

最新推荐文章于 2021-11-11 14:22:13 发布

原创最新推荐文章于 2021-11-11 14:22:13 发布 · 737 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Spark

Spark 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一种利用Apache Spark框架来统计文件中单词数量的方法。通过使用Scala语言编写程序，实现了从本地文件读取数据、拆分单词、计数，并将结果保存到指定文件的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、场景：统计文件单词个数

二、Scala代码实现：

package cn.com.git.scala.spark.test

import org.apache.spark._
import org.apache.spark.SparkContext._
import org.apache.spark.rdd.RDD.rddToPairRDDFunctions

object SparkWordCount {
def FILE_NAME: String = "word_count_results_";
def main(args: Array[String]) {

    val sc = new SparkContext("local", "WordCount", System.getenv("SPARK_HOME"), Seq(System.getenv("SPARK_TEST_JAR")))
    //本地文件
    val filePath = "E:/temp/demo.txt";

val textFile = sc.textFile(filePath);

//空格作为分隔符，统计单词数量

    val wordCounts = textFile.flatMap(line => line.split(" ")).map(
      word => (word, 1)).reduceByKey((a, b) => a + b)
    //结果保存在文件中
    wordCounts.repartition(1).saveAsTextFile(FILE_NAME + System.currentTimeMillis())

    println("Word Count program running results are successfully saved.");
}

}

三、执行结果

工程目录下生成结果文件夹：word_count_results_1500537461876（毫秒数）；

包括子文件：_SUCCESS 、part-00000；

统计结果在part-00000文件中：

(F48_20170531_090622_75403,9)
(INFO,9)
(mon.router.r,9)
(296,9)
(2017-06-16-15:33:20.240,9)
(pquery.CifInfoQueryByAcct,9)