Spark RDD案例：统计每日新增用户

最新推荐文章于 2024-06-13 21:44:24 发布

潘潘.tel

最新推荐文章于 2024-06-13 21:44:24 发布

阅读量128

点赞数

文章标签： spark hdfs

本文链接：https://blog.youkuaiyun.com/py20010218/article/details/125352204

版权

本文通过Spark技术，利用倒排索引法解析用户活动数据，计算每个用户首次访问日期，从而得出每日新增用户数。步骤包括读取用户数据、元组倒排、分组、找到新增日期并计数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、提出任务

2022-01-01,mike
2022-01-01,alice
2022-01-01,brown
2022-01-02,mike
2022-01-02,alice
2022-01-02,green
2022-01-03,alice
2022-01-03,smith
2022-01-03,brian

在这里插入图片描述

2022-01-01,3
2022-01-02,1
2022-01-03,2

二、实现思路

使用倒排索引法，若将用户名看作关键词，访问日期看作文档ID，则用户名与访问日期的映射关系如下图所示。

在这里插入图片描述

若同一个用户对应多个访问日期，则最小的日期为该用户的注册日期，即新增日期，其他日期为重复访问日期，不应统计在内。因此每个用户应该只计算用户访问的最小日期即可。如下图所示，将每个用户访问的最小日期都移到第一列，第一列为有效数据，只统计第一列中每个日期的出现次数，即为对应日期的新增用户数。
在这里插入图片描述
预备工作：启动集群的HDFS与Spark

在HDFS上准备数据 - users.txt

三、完成任务

（一）读取文件，得到RDD

执行命令：val rdd1 = sc.textFile(“hdfs://master:9000/input/users.txt”)
在这里插入图片描述

（二）倒排，互换RDD中元组的元素顺序

val rdd2 = rdd1.map(
   line => {
     val fields = line.split(",")
      (fields(1), fields(0))
   }
)

在这里插入图片描述

（三）倒排后的RDD按键分组

执行命令：val rdd3 = rdd2.groupByKey()
在这里插入图片描述

（四）取分组后的日期集合最小值，计数为1

执行命令：val rdd4 = rdd3.map(line => (line._2.min, 1))
在这里插入图片描述

（五）按键计数，得到每日新增用户数

执行命令：val result = rdd4.countByKey()
执行命令：result.keys.foreach(key => println(key + “,” + result(key)))

在这里插入图片描述

（六）让输出结果按日期升序

映射不能直接排序，只能让键集转成列表之后先排序，再遍历键集输出映射
执行命令：val keys = result.keys.toList.sorted，让键集升序排列
在这里插入图片描述