spark wordcount

最新推荐文章于 2022-06-14 13:54:52 发布

dianji4156

最新推荐文章于 2022-06-14 13:54:52 发布

阅读量139

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/yaoyao66123/p/9356375.html

版权

本文介绍了一种使用 Apache Spark 实现 WordCount 的方法，通过读取文件，将文本拆分为单词，然后对每个单词计数并输出结果。该示例展示了 Spark 的基本用法，包括创建 SparkConf 和 SparkContext，使用 RDD 进行数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

object WordCount {

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("WordCount").setMaster("local[*]")
    val sc = new SparkContext(conf)
    val lines: RDD[String] = sc.textFile("/Users/yaoyao/hobby/AntiReptile/ip/wordcount.txt")
    val words: RDD[String] = lines.flatMap(_.split(" "))
    val wordOne: RDD[(String, Int)] = words.map((_,1))
    val reduces: RDD[(String, Int)] = wordOne.reduceByKey(_+_)
    println(reduces.collect().toBuffer)
    sc.stop()