RDD操作（3）

最新推荐文章于 2019-06-09 09:54:08 发布
原创 最新推荐文章于 2019-06-09 09:54:08 发布 · 254 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何在Spark中创建RDD，包括并行化现有集合和引用外部存储系统数据集的方法。同时，提供了关于Spark读取文件的实用技巧，如设置分区数、读取目录与压缩文件及使用通配符。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、如何创建RDD？

1.parallelizing an existing collection in your driver program:并行化一个现有的集合来创建RDD

Example：
scala> val data=Array(1,2,3,4,5)
data: Array[Int] = Array(1, 2, 3, 4, 5)

scala> val dts=sc.parallelize(data)
dts: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:26

scala> dts.collect
res0: Array[Int] = Array(1, 2, 3, 4, 5)        

问题：这个task 2个咋来的？

答：Spark will run one task for each partition of the cluster，一个partition就有一个task，这个2就是partition决定的。

例如:HDFS通常就是根据你的blocksize大小来表示一个task，小文件会多。

问题：为什么通常一个cpu设置2-4个分区呢？

Typically you want 2-4 partitions for each CPU in your cluster

答：如果一个core对应一个task，很多情况下会出现你的core空闲，前面跑完，后面的接上，避免浪费资源。

2.referencing a dataset in an external storage system

 such as a shared filesystem, HDFS, HBase, or any data source offering a Hadoop InputFormat：引用外部存储系统的数据集

（1）Text file RDDs can be created using SparkContext’s textFile method.

使用这个方法，如果使用的是分布式spark，那么你的inputsource必须在每个worker上都要有，也就是你不要用个standalone，textfile又是local的文件，这样会报找不到数据源的。

val dts=sc,TextFile("hdfs://192.168.137.251:8020/ruozedata.txt")

二、Some notes on reading files with Spark:（关于Spark读取文件的一些注意事项）

（1）如果使用的本地文件系统（file开头的路径），文件也必须在工作节点上的同一路径上可访问。要么将文件复制到所有工作者，要么使用一个挂载网络的共享文件系统。

（2）可以读取目录下的所有文件，也可以读取压缩文件，还可以读取wildcards（通配符）比如/a/*.txt这样读取所有txt的文件。

（3）textFile方法手动设置分区，默认情况下在hdfs上市以一个block作为默认的partition大小，也可以自己设置，但是分区数目不能少于partition数目。

val rdd=sc.wholeTextFiles("hdfs://192.168.137.251:9000/data")
rdd: org.apache.spark.rdd.RDD[(String, String)] = hdfs://192.168.137.251:9000/data MapPartitionsRDD[5] at wholeTextFiles at <console>:24

scala> rdd.collect
res2: Array[(String, String)] =
Array((hdfs://192.168.137.251:9000/data/1,"
ruoze
laoj
hello
ptthon
zidong
youmuyou
"), (hdfs://192.168.137.251:9000/data/2,"
ruoze
laoj
hello
ptthon
zidong

（4）

Spark RDD 操作数据库
qq_64486230的博客
06-17 859
头歌实验：Spark RDD操作数据库
SPARK笔记 (二) RDD的使用
m0_46570085的博客
07-07 592
1
Spark RDD编程（Python和Scala版本）
weixin_34187862的博客
06-18 744
Spark中的RDD就是一个不可变的分布式对象集合，是一种具有兼容性的基于内存的集群计算抽象方法，Spark则是这个方法的抽象。 Spark的RDD操作分为转化操作（transformation）和行动操作（action），两者的区别在于： a.转化操作返回一个新的RDD对象 b.行动操作则会对RDD产生一个计算结果，并把结果...
Spark之深入理解RDD结构
热门推荐
TcD的博客
01-06 2万+
RDD RDD(Resilient Distributed Datasets,弹性分布式数据集)，是Spark最为核心的概念，自然也是理解Apache Spark 工作原理的最佳入口之一。 RDD的特点： 1. 是一个分区的只读记录的集合； 2. 一个具有容错机制的特殊集； 3. 只能通过在稳定的存储器或其他RDD上的确定性操作（转换）来创建； 4. 可以分布在集群的节点上，以函数式操
Spark基础：（五）Spark编程进阶
雪泪寒的博客
08-06 237
Spark基础：（五）Spark编程进阶   共享变量 （1）累加器：是用来对信息进行聚合的，同时也是Spark中提供的一种分布式的变量机制，其原理类似于mapreduce，即分布式的改变，然后聚合这些改变。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。 Spark内置的提供了Long和Double类型的累加器 object Ac...
spark快速大数据分析之数据读取与保存
何成俭的博客
05-24 6989
1 动机   探索spark对不同地方或不同的数据的读取和保存方法,通过本节学习可以掌握将数据读取到spark,并将计算结果以你希望的方式存储起来。 spark生态常见三种数据源： 文件格式与文件系统，spark SQL中的结构化数据源， 数据库与键值存储 2文件格式       a.0....逗号分隔值CSV与制表符分隔值      a.文本文件 ------非结构化  
SparkCode基础02
Binbinhb的博客
03-12 747
一、如何创建RDD 1、parallelizing an existing collection in your driver program：并行的数据集合中的元素通过驱动程序转化为RDD val data = Array(1, 2, 3, 4, 5) val distData = sc.parallelize(data) 1）在SparkContext.scala文件中查找para...
spark RDD操作详解
09-25
### Spark RDD操作详解 #### 一、RDD概念与特性 **RDD（弹性分布式数据集）**是Apache Spark的核心抽象，代表一种不可变的、可分区的、能够进行并行操作的数据集合。它提供了丰富的API来支持高效的大规模数据处理...
RDD转换行操作和词频统计
03-11
这不仅展示了数据处理的流程，也体现了RDD操作在实际中的应用价值。 RDD作为Spark处理大规模数据的核心数据结构，它的转换操作能够高效地进行数据处理和分析。通过学习和实践RDD的这些转换方法，用户可以更加灵活地...
6-RDD操作.pdf
04-14
根据提供的文档内容，我们可以深入探讨有关Resilient Distributed Datasets（简称RDD）的相关知识点，特别是其创建方式与转换操作。 ### 1. RDD 创建 #### 1.1 从列表创建 RDD 在Spark中，可以通过从一个Python...
RDD的创建和转换操作
03-08
在进行RDD操作时，需要注意以下几个方面：分区的合理设置可以影响数据处理的效率；对文件的读取路径和文件类型的选择会影响到最终读取数据的格式；对于并行度的选择，一般建议根据集群资源进行合理设定，以便更好地...
黑猴子的家：Spark RDD 文本文件输入输出（数据读取与保存的主要方式之一）
黑猴子的博客
06-09 1413
1、textFile 当我们将一个文本文件读取为 RDD 时，输入的每一行都会成为RDD的一个元素。也可以将多个完整的文本文件一次性读取为一个pair RDD， 其中键是文件名，值是文件内容。 scala> val input = sc.textFile("./README.md") input: org.apache.spark.rdd.RDD[String] ...
Spark 简单实例（基本操作）
网络空间发展与战略研究
07-12 2万+
目录[-] 1、准备文件 2、加载文件 3、显示一行 4、函数运用  （1）map  （2）collecct  （3）filter  （4）flatMap  （5）union  （6） join  （7）lookup  （8）groupByKey  （9）sortByKey 1、准备文件 ? 1
Spark算子：RDD行动Action操作(1)–first、count、reduce、collect
Rocky
12-26 959
关键字：Spark算子、Spark RDD行动Action、first、count、reduce、collect first def first(): T first返回RDD中的第一个元素，不排序。 scala> var rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2)rdd1: org.apache.spark.rdd.
Spark 按key聚合求平均值与占比
bitcarmanlee的博客
08-27 8657
1.求key的平均值 k,v结构的数据中，求每个key对应的平均值，在spark中怎么应该怎么求？ 例如有如下的数据: ("a",10) ("b",4) ("a",10) ("b",20) 想求a,b对应的平均值。 直接上代码 sc.parallelize(List(("a",10),("b",4),("a",10),("b",2
SparkContext详解
qq_42064119的博客
10-16 7165
1.SparkContext是什么？ 他类似于javaSpringContext，是一个容器，里面装各种各样的资源。 2.SparkContext的基本了解 （1）Initializing Spark（初始化spark） （2）告诉spark如何去连接集群（local、yarn、stand） （3）在创建SparkContext之前，要先创建一个SparkConf，它包含你的一些应用程序...
RDD深入讲解
qq_42064119的博客
10-13 593
1.RDD的作用 （1）让开发者大大降低开发分布式应用程序的门槛以及提高执行效率（特指和其他框架做对比） 例如：其他框架你要考虑数据的拆分、通信机制、作业挂了如何处理、作业调度、序列化等等。但是这些在RDD中直接通过map、reduce就可以完成了。 2.什么是RDD？ （1）RDD:  Resilient Distributed dataset(弹性  分布式  数据集) 弹性：体现在...
Spark:Task not serializable
qq_42064119的博客
10-24 345
package HomeWork.Core_logAnaly import org.apache.spark.{SparkConf, SparkContext} /*** * User:yunfei * Date:22/10/23 * Description: * 日志文件格式： * 域名 流量 资源 ip 访问时间 * * www.zhibo8.com 304...
RDD基本操作
最新发布
03-13
<think>好的，我现在需要回答用户关于RDD基本操作的问题。用户之前询问了深度学习中的CNN、RNN和GAN，现在转向了Spark的RDD操作，可能是想了解大数据处理的相关知识。 首先，我需要确认RDD是什么。RDD即弹性分布式数据集，是Spark的核心数据结构，具有不可变、分布式、容错等特性。用户需要的是基本操作，可能包括转换和动作两大类。 接下来，要回忆RDD的两种操作类型：转换（Transformations）和动作（Actions）。转换操作是惰性的，不会立即执行，而动作操作会触发实际计算。常见的转换操作有map、filter、flatMap、groupByKey等，动作操作如collect、count、reduce、saveAsTextFile等。 需要分点说明，结构清晰。可能先介绍RDD概念，再分转换和动作，然后举例说明，最后注意事项。需要注意使用中文，符合用户要求，同时按照之前的系统级指令，数学公式用$...$，独立公式用$$...$$，但RDD操作可能涉及代码示例，是否需要使用LaTeX？比如代码中的函数名可能需要用等宽字体，但用户之前的例子中用了代码块，但这里用户可能希望用中文描述，避免代码块。 另外，用户之前的回答使用了分点、表格对比，可能需要保持类似的风格。比如分转换操作和动作操作，每个操作下给出例子，如map、filter的具体使用，以及它们的延迟执行特性。 还要注意提到RDD的惰性求值机制，以及持久化方法如cache和persist的作用，如何避免重复计算。可能还需要提到宽依赖和窄依赖的区别，但用户问的是基本操作，可能不需要深入依赖关系。 需要检查是否有错误，比如转换操作是否返回新RDD，动作操作是否返回结果或导出数据。例如，collect返回数据到驱动程序，reduce进行聚合，saveAsTextFile保存到文件系统。 另外，用户可能对RDD操作的并行性和容错机制感兴趣，但可能属于更高级内容，但基本操作介绍中可能需要简要提及分区和血统（lineage）的概念，以说明容错机制。 最后，总结注意事项，如避免使用collect处理大数据，可能导致内存溢出，合理使用持久化优化性能等。 现在需要组织这些内容，用中文分点回答，保持结构清晰，符合用户之前的回答风格，可能使用标题如“核心概念”、“转换操作”、“动作操作”、“注意事项”等，每个部分下给出具体操作示例和解释，必要时用LaTeX公式，比如在说明reduce操作时，可能给出函数示例，如$f(x,y) = x + y$，但大部分操作为代码函数名，可能用中文引号标注，如map()、filter()等。 需要确保术语正确，比如转换操作生成新的RDD，动作触发作业执行。同时，示例要简单明了，比如map用于元素处理，filter筛选元素，reduce进行聚合等。 总结后，可能需要一个对比表格，比较转换和动作的区别，如是否立即执行、返回类型等，类似用户之前对比CNN、RNN、GAN的表格，但需要确认是否有必要。 最终，确保回答准确、结构清晰，符合用户的要求，并帮助用户逐步理解RDD的基本操作。</think>### RDD（弹性分布式数据集）基本操作详解 #### **一、核心概念** RDD（Resilient Distributed Dataset）是Spark的核心数据结构，具有以下特性： - **分布式存储**：数据分片存储在集群节点上 - **容错性**：通过**血统（Lineage）**记录数据生成过程，可自动恢复丢失分区 - **不可变性**：操作生成新RDD，原始数据保持不变 - **惰性求值**：转换操作延迟执行，遇到动作操作时触发计算 #### **二、基本操作分类** ##### **1. 转换操作（Transformations）** 生成新RDD的**延迟计算**操作，需通过动作操作触发执行： - **`map(func)`** 逐元素处理：$newRDD = rdd.map(x \Rightarrow x*2)$ 示例：`[1,2,3] → [2,4,6]` - **`filter(func)`** 筛选满足条件的元素：$newRDD = rdd.filter(x \Rightarrow x>3)$ 示例：`[5,2,7] → [5,7]` - **`flatMap(func)`** 先映射后扁平化：$newRDD = rdd.flatMap(x \Rightarrow x.split(" "))$ 示例：`["hello world"] → ["hello", "world"]` - **`groupByKey()`** 键值对分组（需PairRDD）：$newRDD = rdd.groupByKey()$ 示例：`[(a,1),(b,2),(a,3)] → [(a,[1,3]), (b,[2])]` - **`reduceByKey(func)`** 按键聚合：$newRDD = rdd.reduceByKey((x,y) \Rightarrow x+y)$ 示例：`[(a,1),(a,2)] → [(a,3)]` ##### **2. 动作操作（Actions）** 触发计算并返回结果/输出数据的**立即执行**操作： - **`collect()`** 返回所有元素到驱动程序 **注意**：数据量大时易导致内存溢出 - **`count()`** 统计元素总数：$count = rdd.count()$ 示例：`[1,3,5] → 3` - **`reduce(func)`** 聚合元素：$result = rdd.reduce((x,y) \Rightarrow x+y)$ 示例：`[1,2,3] → 6`（求和） - **`saveAsTextFile(path)`** 保存到分布式文件系统（如HDFS） 输出格式：每个分区生成一个文件 - **`foreach(func)`** 对每个元素执行操作（如写入数据库） #### **三、操作特性对比** | 操作类型 | 执行时机 | 返回值 | 示例方法 | |------------|----------|-----------------|------------------------| | 转换操作 | 延迟 | 新RDD | map, filter, groupByKey| | 动作操作 | 立即 | 非RDD（值/输出）| collect, count, reduce | #### **四、关键注意事项** 1. **持久化优化** 使用`persist()`或`cache()`缓存重复使用的RDD，避免重复计算： ```python rdd = sc.parallelize([1,2,3]).cache() # 缓存到内存 ``` 2. **宽窄依赖** - 窄依赖：1个父RDD分区对应1个子RDD分区（如`map`） - 宽依赖：1个父RDD分区对应多个子RDD分区（如`groupByKey`） 3. **避免数据倾斜** 对`groupByKey`/`reduceByKey`使用盐值分桶等技巧，平衡负载 4. **资源管理** - 合理设置分区数：`repartition(n)`调整并行度 - 监控`Spark UI`查看任务执行状态 #### **五、操作流程示例** ```python # 1. 创建RDD rdd = sc.parallelize([1,2,3,4,5]) # 2. 转换操作链 transformed = rdd.map(lambda x: x*2) \ .filter(lambda x: x>5) \ .flatMap(lambda x: [x, x+1]) # 3. 动作触发计算 result = transformed.collect() # 输出：[6,7,8,9,10,11] ``` 理解RDD操作机制是掌握Spark编程的核心，合理组合转换与动作操作可高效处理大规模数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值