4.Spark学习笔记（scala综合案例分析）

最新推荐文章于 2024-04-22 09:52:03 发布

原创

最新推荐文章于 2024-04-22 09:52:03 发布 · 580 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#scala #spark #学习

这篇博客是关于Spark学习的Scala综合案例，重点介绍了如何统计单词出现次数。首先提出了需求，接着详细阐述了实现步骤，包括原始实现和优化后的写法。最后，提供了作业练习题，鼓励读者运用reduce方法进行单词计数的计算。

Scala综合案例

6. 综合实例

6.1 需求

统计单词出现次数

6.2 如何实现

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0CfK7v4n-1655393698247)(assets/1649650988285.png)]

package com.gec.bigdata.scala.chapter07

import scala.collection.mutable.ArrayBuffer
import scala.io.{
   
   BufferedSource, Source}

object Scala05_Collection_WordCount {
   
   

    def main(args: Array[String]): Unit = {
   
   

        // TODO 1. 读取文件，获取原始数据<