任务3.8.1 利用RDD实现词频统计

实战：利用RDD实现词频统计

目标

• 使用Apache Spark的RDD（弹性分布式数据集）模块实现一个词频统计程序。

环境准备

1. 选择实现方式

   • 确定使用Spark RDD进行词频统计。

2. Spark版本与Scala版本匹配

   • 选择Spark 3.1.3与Scala 2.12.15以匹配现有Spark集群。

3. JDK版本选择

   • 基于JDK 8创建项目，以避免运行时错误。

4. 启动服务

   • 启动HDFS和Spark集群服务。

5. 文件准备

   • 创建本地单词文件words.txt并上传至HDFS。
</