超级会员免费看
这篇博客通过Spark RDD实现了三个典型任务：计算成绩表的总分与平均分、统计每日新增用户以及实现分组排行榜。详细介绍了在Spark Shell和IntelliJ IDEA中完成这些任务的步骤，包括读取数据、转换操作和结果输出。
零、本节学习目标
- 利用RDD计算总分与平均分
- 利用RDD统计每日新增用户
- 利用RDD实现分组排行榜
一、利用RDD计算总分与平均分
（一）提出任务
- 针对成绩表，计算每个学生总分和平均分
| 姓名 | 语文 | 数学 | 英语 |
|---|---|---|---|
| 张钦林 | 78 | 90 | 76 |
| 陈燕文 | 95 | 88 | 98 |
| 卢志刚 | 78 | 80 | 60 |
（二）实现思路
- 读取成绩文件，生成lines；定义二元组成绩列表；遍历lines，填充二元组成绩列表；基于二元组成绩列表创建RDD；对rdd按键归约得到rdd1，计算总分；将rdd1映射成rdd2，计算总分与平均分。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
