Spark RDD案例：统计每日新增用户

原创

已于 2022-06-23 17:45:09 修改

· 227 阅读

2 ·

版权

文章标签：

#spark #学习

于 2022-06-18 12:57:19 首次发布

本文通过一个实例展示了如何使用Spark RDD来统计每日新增用户。首先提出任务，给定用户访问历史数据，目标是计算每天新出现的用户数量。接着，详细介绍了每个步骤，包括读取数据到RDD，进行倒排、分组、取最小值计数以及按键计数操作，最后按日期升序排列输出结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、提出任务

已知有以下用户访问历史数据，第一列为用户访问网站的日期，第二列为用户名：

2022-01-01,mike
2022-01-01,alice
2022-01-01,brown
2022-01-02,mike
2022-01-02,alice
2022-01-02,green
2022-01-03,alice
2022-01-03,smith
2022-01-03,brian

现需要根据上述数据统计每日新增的用户数量，期望统计结果：
```
2022-01-01,3
2022-01-02,1
2022-01-03,2
```
即2022-01-01新增了3个用户（分别为mike、alice、brown），2022-01-02新增了1个用户（green），2022-01-03新增了两个用户（分别为smith、brian）
预备工作：启动集群的HDFS与Spark
在HDFS上准备数据 - users.txt
二、完成任务