Spark统计每天新增用户

前言

解题思路（基于倒排索引）和代码，在基于倒排索引的基础。

1、原始数据

2022-01-01  a
2022-01-01  b
2022-01-01  c
2022-01-02  a
2022-01-02  b
2022-01-02  d
2022-01-03  b
2022-01-03  e
2022-01-03  f

根据数据可以看出我们要求的结果为：

2022-01-01 新增三个用户（a,b,c）
2022-01-02 新增一个用户（d）
2022-01-03 新增两个用户（e，f）

2、解题思路

2.1 对原始数据进行倒排索引

结果如下：

用户名 列一  列二  列三
a 2022-01-01  2022-01-02
b 2022-01-01  2022-01-02  2022-01-03
c 2022-01-01
d 2022-01-02
e 2022-01-03
f 2022-01-03

2.2 统计列一中每个日期出现的次数

这样我们只看列一，统计每个日期在列一出现的次数，即为对应日期新增用户数。

3、代码

package