RDD的创建 操作类型 缓存

最新推荐文章于 2024-06-05 20:45:18 发布
最新推荐文章于 2024-06-05 20:45:18 发布
阅读量494 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/feierxiaoyezi/article/details/51036493
本文介绍了如何使用Spark中的弹性分布式数据集（RDD）进行数据处理。主要包括从外部数据源创建RDD、利用集合创建并行数据集的方法；阐述了RDD的两种操作类型：转换（Transformation）和行动（Action），以及缓存机制的具体应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、创建

1、外部数据源读取 hdfs sc.textFile("文件路径") hbase amasons3....

2、来自于本身的集合 sc.parallelize(List(1,2,3))  Parallezied Collection

二、操作类型

1、RDD Transformation 懒执行  会记录怎么转换而来，一旦出错可以重新来过

2、RDD action 触发计算，进行实际的数据处理

三、缓存persistent

1、cache ，是延迟执行的 ，需要在action执行之后进行RDD缓存

       cache是特殊的persistent缓存方式，将RDD放到内存中


Spark之RDD基本操作分类
大数据跟我学i
03-31 2178
文章目录 分类 Transformation(转换)：返回一个新的RDD数据集 注： 所有Transformation函数都是Lazy(惰性的)，不会立即执行，需要Action函数来触发 Transformation函数包括：map、filter、reducebykey等函数 Action(动作)：返回值不是RDD(无返回值或者返回其他的) ...
大数据-玩转数据-Spark-RDD编程基础-RDD操作（python版）
s_unbo的博客
01-06 1090
大数据-玩转数据-Spark-RDD编程基础-RDD操作（python版） RDD操作包括两种类型：转换（Transformation）和行动（Action） 1、转换操作 RDD每次转换操作都会都会产生新的RDD，供下一转换或行动使用，所以叫惰性求值，转换只记录了轨迹，不执行，行动才执行。 常用的RDD转换操作API filter(func) : 筛选出满足func函数的元素，并返回一个新的数据集 map(func):将每个元素传递到函数func中，并将结果返回已个新的数据集 flatMap(func):
RDD的两种操作（Transformation和Action）
Black eyes的博客
01-10 4007
1、转换（transformation） 转换（transformation）：即从现有的数据集创建一个新的数据集，返回一个新的RDD 的操作。Transformation都是惰性的，它们并不会直接计算结果。它们只是记住了这些应用到基础数据集上的转换动作。只有当发生一个要求返回结果给Driver的Action时，这些Transformation才会真正运行。 RDD支持的常用Transform...
Spark RDD 缓存
sharkdoodoo
08-27 1307
RDD缓存是Spark的一个重要特性，也是Spark速度快的原因之一，RDD在内存持久化或缓存之后，每一个节点都将把计算的分区结果留在内存中，并再对RDD进行其他的Action动作重用，这样后续的动作就会更快； 查看StorageLevel可以看到缓存的级别/** * Various [[org.apache.spark.storage.StorageLevel]] defined and ut
Spark基础——RDD特性及操作
俺叫赵小邪的博客
11-16 1656
一、基石RDD（ resilient distributed dataset） spark的核心就是RDD（弹性分布式数据集），一种通用的数据抽象。封装了基础的数据操作，如map，filter，reduce等。RDD提供数据共享的抽象，相对比其他大数据处理框架，如MapReduce,Pege1,DryadLINQ和HIVE等均缺乏此特性，所以RDD更为通用。 简单的来概括RD
【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战（超详细 附源码）
showswoller的博客
12-18 1818
【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战（超详细 附源码）
spark RDD操作详解
09-25
#### 三、RDD操作类型 RDD的操作可以分为两大类：转换（Transformation）和行动（Action）。 - **转换操作**：用于创建新的数据集，基于现有的数据集进行变换。这些操作通常是懒惰执行的，只有当执行行动操作时才...
什么是Spark RDD？(RDD的介绍与创建)
weixin_74292291的博客
06-05 1262
什么是Spark RDD？RDD的介绍与创建
Spark RDD简介与操作
weixin_62121679的博客
08-01 561
在Spark中，RDD可以看作是一个对象，它本身运行于内存中，如读文件是一个RDD，对文件计算是一个RDD，结果集也是一个RDD。在Spark中，RDD可以看作是一个对象，它本身运行于内存中，可以用于读文件、对文件计算、结果集等操作。在Spark中，RDD是一个并行集合，它包含多个分片，每个分片可以在不同的计算节点上并行处理。然后，我们对RDD进行转换和计算操作，并输出结果。在Scala中，Spark的RDD API提供了许多转换操作（transformations），用于对RDD进行转换和计算。
Spark RDD编程基本操作
日常分享数据分析开发、编程语言内容
03-11 2961
Spark RDD编程基本操作
Spark RDD的实操教程（二）
邵奈一的博客
07-09 730
教程目录0x00 教程内容0x01 RDD 的算子操作1. 算子介绍a. 两种算子类型b. 举个例子c. 总结2. 转化算子（transformations算子）3. 行动算子（actions算子）0x021.2.0xFF 总结 0x00 教程内容 上一篇教程：Spark RDD的实操教程（一） 我们已经对RDD有了基本的认识，接下来我们继续学习各种各样的算子。 0x01 RDD 的算子操作 1. 算子介绍 RDD 支持两种算子操作，分别是转换（transformations）算子和行动（actio
1.5.1.1 Spark-RDD
寒暄的博客
03-21 274
总目录:https://www.jianshu.com/p/e406a9bc93a9 Hadoop - 子目录：https://www.jianshu.com/p/9428e443b7fd 什么是RDD 在MapReduce中，map会对数据进行切片操作，但是整个过程中充满了序列化，反序列化操作，这回造成大量的磁盘IO占用。 而Spark使用了一种将数据保存在内存中的读写方式，这就...
Spark——RDD操作详解
俺叫赵小邪的博客
11-22 9459
一、基本RDD 1、针对各个元素的转化操作 最常用的转化操作是map()和filter()。转化操作map()J接收一个函数，把这个函数用于RDD中的每一个元素，将函数的返回结果作为结果RDD中对应元素。而转化操作filter()则接收一个函数，将RDD满足该函数的元素放入新的RDD中返回。map()的返回值类型不需要和输入类型一样。 从一个RDD变成另外一个RDD。lazy，懒执行 。比如根
[Spark] RDD的基本操作
Cindy的博客
07-12 2514
1. RDD的基本操作RDD支持两种类型的操作：1) transformations，转换。从一个RDD转换成另外一个RDD（RDD是不可变的）。   例如：map函数，对RDD里每一个元素做同一件事，将一个RDD转换成另外一个RDD   RDDA（1，2，3，4，5）        map( +1 )        RDDB（2，3，4，5，6）2) actions，操作。它会在数据集上计算后返...
RDD 数据操作主要有两个动作
dian张
11-30 1670
Transformations(转换)：return a new RDD map(f : T ) U) : RDD[T] ) RDD[U]返回一个新的分布式数据集，由每个原元素经过func函数转换后组成 filter(f : T ) Bool) : RDD[T] ) RDD[T]返回一个新的数据集，由经过func函数后返回值为true的原元素组成 flatMap(f : T ) Seq[U])
RDD的两种操作算子
dsl200970的博客
04-12 6689
RDD支持两种类型的操作算子:Transformation(转换)与Action(行动)。 1、Transformation(变换) Transformation操作会由一个RDD生成一个新的 RDD。Transformation操作是延迟计算的，也就是说从一个RDD转换生成另一个RDD的转换操作不是马上执行，需要等到Actions操作时，才真正开始运算。
RDD类操作说明
拱头的专栏
01-05 3810
1.RDD类由SparkContext进行创建。 2.我们总是说RDD是lazy的,并不是说RDD类中定义了lazy的方法,RDD对应的数据是存在BlockStore的子类中的,说RDD是lazy的,意思是RDD在调用BlockStore,使用数据的时候,BlockStore中,初始化数据块的操作是lazy的. RDD基本转换操作（Transformation）：
RDD操作详解（三）Action操作
Running_Tiger的博客
03-07 1820
RDD操作详解（三）Action操作 启动spark-shell spark-shell --master spark://node-1:7077 1. first def first(): T first返回RDD中的第一个元素，不排序。 scala> var rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C",&quot
Spark核心编程创建RDD及transformation和action详解和案例
闵浮龙的博客
05-12 605
创建RDD 进行Spark核心编程时，首先要做的第一件事，就是创建一个初始的RDD。该RDD中，通常就代表和包含了Spark应用程序的输入源数据。然后在创建了初始的RDD之后，才可以通过Spark Core提供的transformation算子，对该RDD进行转换，来获取其他的RDD。 Spark Core提供了三种创建RDD的方式，包括：使用程序中的集合创建RDD；使用本地文件创建RDD；使...
RDD基本操作
最新发布
03-13
接下来，要回忆RDD的两种操作类型：转换（Transformations）和动作（Actions）。转换操作是惰性的，不会立即执行，而动作操作会触发实际计算。常见的转换操作有map、filter、flatMap、groupByKey等，动作操作如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值