RDD编程总结

已于 2022-09-02 20:29:57 修改
阅读量577 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Hadoop和Spark《更新中》 文章标签： rdd操作
于 2019-07-15 21:44:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39579290/article/details/92842414
本文详细介绍了RDD的相关知识，包括其特点、加载方式、转换和行动操作，以及键值对处理。通过具体示例展示了如何从文件系统和分布式文件系统加载数据，使用filter、map、flatMap、groupByKey和reduceByKey等操作，以及如何处理键值对数据。最后提供了综合实例，涵盖了学生信息、课程统计、成绩计算等多个场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一：RDD相关知识

1.RDD特点：可持久化，可序列化，可分区。

2.对RDD进行分区的优点：增加并行度；减少通信开销。

3.RDD分区的一个原则是使分区的个数尽量等于集群中的CPU核心数目。

二：加载RDD（SparkContext简写为sc）

1.从文件系统中加载数据

file=sc.textFile("file://＋文件的具体路径)

aq:从/home/hadoop/Downloads目录下加载数据dataset2.txt

2.从分布式文件系统中加载数据

file=sc.textFile("hdfs://localhost:9000＋文件的具体路径)

3.通过并行集合（比如数组）创建RDD（通过调用parallelize方法在已知集合上创建RDD）

aq：将数组（1，2，3，4，5）转换为RDD

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark：RDD编程总结(概述、算子、分区、共享变量)
Jodness' Blogs
08-04 2258
目录 1、RDD概述 1.1、RDD是什么 1.2、RDD的弹性 1.3、RDD的特点 1.3.1、分区 1.3.2、只读 1.3.3、依赖 1.3.4、缓存 1.3.5、检查点 2、RDD编程 2.1、RDD创建 2.1.1、并行化集合 2.1.2、读取外部数据集 2.2、RDD的操作 2.2.1、转换 2.2.2、行动 2.2.3、控制 1）缓...
对RDD的一点感想（新手向）
smile17302519746的博客
04-10 458
RDD是什么 RDD怎么用 第一个RDD 一系列RDD 保存RDD RDD是什么 我们使用Spark，是因为数据量太大或者运算太复杂，单机无法处理，需要运用分布式环境。以往单机编程中使用的数据结构如Int，List等，无法直接使用（比如我们 int i= 0，这 i 存储在哪里？哪一台机器？内存还是外存？）。在这种情况下，RDD(Resilient Distributed...
Spark学习之RDD编程总结
09-11 801
　　Spark 对数据的核心抽象——弹性分布式数据集（Resilient Distributed Dataset，简称 RDD）。RDD 其实就是分布式的元素集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有 RDD 以及调用 RDD 操作进行求值。而在这一切背后，Spark 会自动将RDD 中的数据分发到集群上，并将操作并行化执行。 一、RDD基础 　　Spark 中的 RDD 就是一个不可变的分布式对象集合。每个 RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD
RDD编程小结
weixin_46387455的博客
07-20 306
来来来
RDD编程(python版)总结
lhy_1234的博客
06-25 1888
一、RDD创建方式包括:parallelize、textFile 1.parallelize：将一个已存在的集合生成RDD。 2.textFile：通过读取外部文件生成RDD 二、将RDD显示的方法包括：foreach()、collect() 三、RDD的操作：包括两类，转换操作和行动操作。 1.转换操作中的常用操作有:filter()、map()、flatMap()、groupBy()、reduceByKey()。 （1）filter（func）:用于筛选。 例1：将data中含有hadoop的元素筛选出
RDD编程初级实践数据集
06-05
本教程将通过“RDD编程初级实践数据集”来深入理解RDD及其操作。 1. **RDD的基本概念** - **定义**：RDD是Spark中的基本数据结构，表示一个只读、分区的数据集。 - **特点**：分布式、不可变、分区、容错。 2. *...
大数据实验报告Windows环境下安装Spark及RDD编程和Spark编程实现wordcount.doc
12-15
大数据实验报告 Windows 环境下安装 Spark 及 RDD 编程和 Spark 编程实现 wordcount ...本实验报告详细介绍了在 Windows 环境下安装 Spark 及 RDD 编程和 Spark 编程实现 wordcount 的步骤和过程，并总结了实验结果。
RDD编程初级实践
weixin_42378292的博客
06-14 3791
一、实验目的 （1）熟悉Spark的RDD基本操作及键值对操作； （2）熟悉使用RDD编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark版本：2.4.0 Python版本：3.4.3 三、实验内容和要求 1．pyspark交互式编程 ...
Spark学习心得（一）：Spark RDD基本操作
asdssssasd的博客
04-04 1423
一、RDD.fold和Scala.fold使用之间的差别1.Scala中fold的使用val t1=Array(("C++", (1,"1")), ("Java", (2,"2")),("Java", (2,"2")), ("SQL", (3,"3")), ("Python", (4,"4"))) val rs
Spark学习总结-入门
11-06
Spark是一个高效的分布式计算系统，发源于美国加州大学伯克利分校AMPLab的集群计算平台。Spark立足于内存计算，相比Hadoop MapReduce，Spark在性能上要高100倍，而且Spark提供了比Hadoop更上层的API，同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。
Spark学习之（RDD 转换算子）心得
ljs_0的博客
09-07 996
Spark 之 RDD - 转换算子
RDD编程
隔壁阿源的博客
10-05 422
RDD的创建 通过文件得到sc.textFile(url),url可以是本地文件系统，分布式文件系统， 得到的是文件每一行的集合 通过并行集合（数组）sc.parallelize() RDD操作 转换操作 操作 含义 filter(func) 筛选出满足func的元素，并返回一个新的数据集 map(func) 将每个元素传递到func中，并将结果返回为一个新的数据集 fla...
RDD学习总结
奔波在代码路上
11-01 753
1、引入Spark Spark 2.3.2 使用 Scala 2.11.x 写应用程序，你需要使用一个兼容的 Scala 版本。 写 Spark 应用程序时，你需要添加 Spark 的 Maven 依赖，Spark 可以通过 Maven 中心仓库来获得： groupId = org.apache.spark artifactId = spark-core_2.10 version = 1....
对于Spark RDD的小结（学习阶段）
qq_45578476的博客
11-28 368
参考自https://blog.youkuaiyun.com/dsdaasaaa/article/details/94181269和https://blog.youkuaiyun.com/lucasmaluping/article/details/103047901的小结 RDD：弹性分布式数据集，是Spark中最基本的数据抽象。 理解：本质上是一个只读的分区记录集合，每个RDD是有多个分区，每个分区就是一个数据集片段...
假期学习【四】RDD编程实验一
weixin_43847567的博客
02-02 684
1.今天把Spark编程第三个实验的Scala独立程序编程写完了。使用 sbt 打包 Scala 程序，然后提交到Spark运行。 2.完成了实验四的第一项 （1）该系总共有多少学生； map(t => t.split(",")(0))表示：lines这个RDD中每个元素被split()函数拆分成3个字符串，保存到数组中，然后，把数组中的第1个元素(即学生名字字段的值...
Spark总结之RDD(四)
xiaohu21的博客
09-21 871
Spark总结之RDD(四) 1. 背景 Spark针对RDD的整体设计思想很多地方和MapReduce相似,但又做了很多优化. Spark整体API设计针对分布式数据处理做了很多优化,并且做了更高层级的抽象,API使用更加简单便捷.例如RDD\DataSet\DataFrame\DStream等 本文主要关于RDD的介绍,RDD类型较多,大的分类是Transformation和Action类型,但具体的RDD中又可以进一步细分为基础的RDD和在基础RDD之上的高级RDD(内部调用基础RDD以及各种操作)
大数据编程技术——RDD应用
weixin_44436319的博客
11-02 474
1 RDD数据源 大数据系统本身就是一个异构数据源的系统，同一项数据可能需要从多种数据源中抓取。 RDD支持多种数据源输入，例如txt、Excel、csv、json、HTML、XML、parquet等。 1.1RDD数据输入API RDD是底层数据结构，其存储和读取功能也只是针对值序列、键值对序列或Tuple序列。 SparkContext parallelize：从内存中读取数据并按指定分区创建RDD makeRDD：从内存读取数据并按最佳分区创建RDD textFile：按行读取文本文件至RDD 读取文
RDD的基本介绍及五大特性和五大特点
yqqの博客
05-24 2505
RDD: 弹性分布式数据集出现目的: 为了能够支持更加高效的迭代计算操作早期的计算模型: 单机计算模型例如: MySQL / Excel单机的计算模型仅适合于: 小量数据集的处理操作在计算操作的时候 只有一个进程, 在一个进程中通过不断的迭代完成最终的计算操作随着不断的发展, 整个数据体量都在不断的增大, 原有单机的计算模型无法应对未来的数据处理需求, 怎么办?分布式计算模型。
rdd编程
最新发布
04-02
### 关于 RDD 编程的基础知识 RDD（Resilient Distributed Dataset），即弹性分布式数据集，是 Spark 的核心概念之一。它是一个只读的分区记录集合，可以在集群节点之间高效分发并执行计算。 #### 创建 RDD 的主要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值