spark wordcount执行流程剖析

最新推荐文章于 2025-08-14 10:41:11 发布

weixin_34221332

最新推荐文章于 2025-08-14 10:41:11 发布

阅读量101

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 python scala

原文链接：https://my.oschina.net/hadooper/blog/607122

本文通过一个简单的WordCount示例介绍了如何使用Apache Spark进行数据处理。示例中使用Scala语言展示了从创建Spark上下文到执行并收集WordCount结果的全过程。通过对文本数据的并行处理，实现了单词频率的统计。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

概要

WordCount程序示例

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.SparkConf

object WordCount {

  def main(args: Array[String]) {
    val conf = new SparkConf
    val sc = new SparkContext(conf)
    val lines = sc.parallelize(List("hello spark", "hi spark", "wow scala"));
    val words = lines.flatMap { x => x.split(" ") };
    val word = words.map { x => (x, 1) };
    val wordCount = word.reduceByKey(_ + _);
    wordCount.collect().foreach(println)
  }

}