2023_Spark_实验九:Scala函数式编程部分演示

本文介绍了如何使用Scala编写WordCount程序对文件进行词频统计,包括文件处理、RDD操作以及解决Spark和Maven插件下载与安装的问题。详细步骤包括创建WordCount单例对象,使用RDD进行单词统计,并提供了解决依赖问题的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

需求:

1、做某个文件的词频统计//某个单词在这个文件出现次数

步骤:

1、文件单词规律(空格分开)

2、单词切分

3、单词的统计

(k,v)->(k:单词,V:数量)

4、打印

框架:

1、单例对象,main()

2、创建CONF

3、创建SC-->读取文件的方式--》RDD

4、RDD进行处理

5、关闭资源

一、新建object类取名为WordCount

2、编写如下代码

3、本地运行,查看运行结果如下

解决无法下载spark与打包插件的办法

maven打包插件与spark所需依赖下载地址:

链接:百度网盘 请输入提取码

提取码:jnta

解决步骤:

0、到网盘下载maven打包插件与spark依赖,网盘吗中的内容如下:

1、将下载的插件plugins.rar解压,并复制插件文件夹到你本地maven仓库下,如下图所示:

2、将下载的spark依赖spark.rar解压,并复制spark文件夹到你本地maven仓库下,如下图所示:

3、重启idea,重新build下工程

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值