3.8.5 利用RDD统计网站每月访问量

本项目旨在利用Spark RDD统计网站每月访问量。首先，创建名为“SparkRDDWebsiteTraffic”的Maven项目，并添加Spark和Scala的依赖。接着，编写Scala代码，通过SparkContext读取存储在HDFS上的原始数据文件，使用map和reduceByKey方法处理数据，提取日期信息，并按年月统计访问量。最后，将统计结果按访问量降序排列并输出到HDFS指定路径。项目不仅加深了对Spark RDD操作的理解，还掌握了如何与HDFS交互，为后续的大数据处理和分析任务打下坚实基础。

在实现过程中，首先使用textFile方法读取HDFS上的websiteData.csv文件，然后通过map和split方法提取日期信息。接着，通过reduceByKey方法对相同日期的访问量进行累加，得到每月访问量。最后，使用sortBy方法按访问量降序排列结果，并使用saveAsTextFile方法将结果输出到HDFS上的/output目录。通过在控制台运行程序，可以在HDFS上查看最终的统计结果。