Spark RDD | 编程练习实践

#苦行僧

已于 2023-07-04 21:43:02 修改

阅读量411

点赞数 1

CC 4.0 BY-SA版权

分类专栏： # Spark 文章标签： spark 大数据 RDD pyspark python

于 2023-06-24 11:27:09 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_43646592/article/details/131359381

Spark 专栏收录该内容

7 篇文章 ¥59.90 ¥99.00

订阅专栏

超级会员免费看

这篇博客通过 pyspark 实现了多种操作，包括计算 RDD 中数据的平均值、所有众数的平均值、TopK 排名、排序并返回序号、二重排序、基于 join 的条件筛选以及按班级求众数等。通过这些实例，深入理解 Spark RDD 的使用和大数据处理技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

🔥 学完RDD常用函数后，那就趁热打铁，进一步通过具体问题来巩固RDD的编程应用。

文章目录

1、求平均值
2、求所有众数的平均值
3、求TopK
4、排序并返回序号
5、二重排序（先根据score排再根据age排）
6、join操作：找均分在75分以上的班级
7、求每个班级 (分组) 的众数

先来初始化一波pyspark的环境～

import findspark

findspark.init()

import pyspark 
from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName(

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

#苦行僧

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Spark SQL | DataFrame | 编程练习实践

weixin_43646592的博客

06-28

474

Spark SQL | DataFrame | 编程练习实践

spark之RDD编程初级实践（RDD练习题）

鹿西西吧的博客

05-01

2990

实验目的： 1.熟悉spark中RDD基本操作以及键值对操作 2.熟悉使用RDD编程解决实际问题（RDD）

参与评论您还未登录，请先登录后发表或查看评论

Spark【RDD编程（四）综合案例】

功不唐捐，玉汝于成

09-07

1431

Spark RDD编程综合案例

大数据技术——RDD编程初级实践

weixin_44428549的博客

06-19

2154

RDD编程初级实践1、需求描述2、环境介绍3、数据来源描述4、数据上传及上传结果查看5、数据处理过程描述1.pyspark交互式编程2.编写独立应用程序实现数据去重3.编写独立应用程序实现求平均值问题6、经验总结 1、需求描述在当今社会，随着大数据的快速发展情况下，大数据已经完全融入到我们的生活中。为了适应各种信息化技术的快速发展，我作为计算机专业的学生，学习大数据这项技术是必不可少的。这次的实验是RDD编程初级实践，我们需要熟悉Spark的RDD基本操作和键值对操作同时还要熟悉使用RDD编

“新手必练！10道Spark RDD高频考题+手写答案，避开初学陷阱”

2401_87347591的博客

05-27

899

print(sorted_rdd.collect()) # 输出: [9, 8, 5, 2, 1]# 输出: [('a', 1), ('a', 2), ('b', 1), ('b', 2)]print("偶数的数量:", even_counter.value) # 输出: 2。题目 9：广播变量（Broadcast Variable）# 输出: [('A', 4), ('B', 2)]题目 6：分组聚合（GroupByKey）题目 1：创建RDD并计算元素平方。题目 4：计算平均值（键值对操作）

Spark学习之RDD编程总结

09-11

800

　　Spark 对数据的核心抽象——弹性分布式数据集（Resilient Distributed Dataset，简称 RDD）。RDD 其实就是分布式的元素集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有 RDD 以及调用 RDD 操作进行求值。而在这一切背后，Spark 会自动将RDD 中的数据分发到集群上，并将操作并行化执行。一、RDD基础　　Spark 中的 RDD 就是一个不可变的分布式对象集合。每个 RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD

基于Pyspark的RDD初级编程实践

MidnightFancy的博客

06-07

1470

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

Spark系列之Spark的RDD详解

luoyepiaoxue2014的博客

11-28

4381

Spark系列之Spark的RDD详解

RDD编程初级实践

BUY_SNOy的博客

06-04

489

RDD编程初级实践实验目的实验平台实验内容与要求一、pyspark交互式编程本次实验提供数据chapter4-data.txt,该数据集包含了某大学计算机系的成绩，数据如下所示：根据给定的实验数据，在pyspark中通过编程来计算以下内容：（1）该系总共有多少学生；（2）该系共开设了多少门课程；（3）Tom同学的总成绩、平均分是多少；（4）求每名同学的选修的课程门数；（5）该系DataBase课程共有多少人选修；（6）各门课程的平均分是多少；（7）使用累加器计算共有多少人选了DataBase这门课。插入链接

RDD编程初级实践数据集.rar

06-08

总的来说，"RDD编程初级实践数据集.rar"提供了一个全面的学习环境，涵盖了Spark RDD的各个方面，从基础操作到实际问题的解决方案，是学习Spark RDD编程的宝贵资源。通过深入研究这个数据集，你将能够熟练地在Spark上...

91-基于Spark的空气质量数据分析可视化系统

qq_53846367的博客

07-30

1642

本文介绍了一个基于Spark的空气质量大数据分析可视化系统。该系统采用分布式计算架构，整合了数据采集、分析、预测和可视化功能，覆盖全国12个主要城市的空气质量监测。系统技术栈包括Django、Spark、Hive、MySQL等，实现了从数据爬取到可视化展示的完整流程。核心功能包含多城市数据采集、Spark分布式分析、机器学习预测及交互式可视化。项目特色在于采用Spark 3.x进行高效计算，构建了完整的数据科学流程，并提供了直观的Web界面展示分析结果。该系统为空气质量监测提供了科学高效的技术解决方案。

Sort Merge Join为什么是Spark中最优的join

主要写大数据集群一线运维和学习工作经验

07-31

967

Sort Merge Join 通过 “先分区（聚合同 Key）→ 再排序（整理顺序）→ 最后合并（线性匹配）” 的流程，将分布式环境下的大表连接转化为可并行的局部有序数据匹配，在内存有限、数据量大的场景中展现出远超 Hash Join 或 Broadcast Join 的稳定性和效率，因此成为 Spark 等框架处理大表连接的首选策略。

Spark Shuffle性能优化实践指南：提升大数据处理效率

qq_35716689的博客

08-01

819

本文深入剖析Spark Shuffle的工作原理与性能瓶颈，结合源码与配置示例，提供全面的优化策略，帮助后端开发者在大数据处理场景中提升Shuffle效率，降低资源消耗。

【Spark征服之路-4.5-Spark-Streaming核心编程（三）】

qq_46394486的博客

08-04

428

摘要：DStream操作分为Transformations和OutputOperations两类，包括updateStateByKey()、transform()等特殊转换。无状态转换将RDD操作应用于每个批次数据，而transform()函数支持任意RDD转换。示例展示了如何使用transform对文本流进行词频统计，以及如何通过join操作合并两个流的数据（要求批次大小一致）。这些操作在Spark Streaming中通过对底层RDD的转换实现流处理功能。

Spark SQL 的 SQL 模式和 DSL模式

不辉放弃的博客

07-31

775

摘要：本文介绍了使用SparkSQL实现WordCount功能的两种方法：SQL模式和DSL模式。在SQL模式中，通过注册临时视图并编写SQL语句实现单词拆分、过滤和计数；DSL模式则利用DataFrame API的方法链完成相同功能。两种方法均涉及关键函数split、explode和groupBy的使用。文章对比了两者的特点：SQL模式适合熟悉SQL的用户处理复杂查询，而DSL模式更适合开发者进行程序化数据处理。最后提供了完整的PySpark代码示例，展示了两种实现方式的具体应用和相同输出结果。

Spark SQL：用SQL玩转大数据

Daoyiyun的博客

08-04

954

突破传统Hive单一数据源限制，支持RDD、Parquet、JSON、CSV、JDBC（如MySQL/Oracle）等异构数据源，形成统一抽象的数据帧（DataFrame）接口。Spark SQL的核心价值在于以SQL语法统一异构数据处理流程，通过Catalyst与Tungsten的深度协同，使开发者无需关注底层分布式复杂性，专注业务逻辑实现。摆脱对Hive执行引擎的依赖（仅复用其元数据存储与HQL解析），自研执行引擎实现更高性能扩展。一、Spark SQL核心定位：大数据处理统的一入口。

Apache Spark 的结构化流

不辉放弃的博客

08-04

449

ApacheSpark的结构化流（Structured Streaming）是一个基于DataFrame/Dataset API的高级流处理框架，核心思想是将流数据视为"无限表"，支持批流统一的处理方式。它提供两种处理模式：默认的微批处理（延迟约100ms-几秒）和实验性的连续处理（毫秒级延迟）。框架包含输入源、处理逻辑和输出接收器三大组件，支持多种数据源和输出模式（Append/Complete/Update）。通过Watermark机制处理延迟数据，利用检查点和预写日志实现精确一次语

第三阶段—8天Python从入门到精通【itheima】-143节（pyspark实战——数据计算——flatmap方法）