spark中的pair rdd，看这一篇就够了

最新推荐文章于 2021-08-22 20:44:18 发布
原创 最新推荐文章于 2021-08-22 20:44:18 发布 · 1.2k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #spark #rdd

本文深入介绍了Spark中的Pair RDD，包括其定义、转化操作如keys、values、sortByKey、mapValues、flatMapValues、groupByKey、reduceByKey、foldByKey、combineByKey，以及连接操作和行动操作如countByKey、collectAsMap和lookup。Pair RDD的转化操作提供了更多灵活性，允许根据key进行聚合和复杂计算。文章以实例解析各个操作，帮助读者理解Pair RDD的使用方法。

本文始发于个人公众号：TechFlow，原创不易，求个关注


今天是spark专题的第四篇文章，我们一起来看下Pair RDD。

定义

在之前的文章当中，我们已经熟悉了RDD的相关概念，也了解了RDD基本的转化操作和行动操作。今天我们来看一下RDD当中非常常见的PairRDD，也叫做键值对RDD，可以理解成KVRDD。

KV很好理解，就是key和value的组合，比如Python当中的dict或者是C++以及Java当中的map中的基本元素都是键值对。相比于之前基本的RDD，pariRDD可以支持更多的操作，相对来说更加灵活，可以完成更加复杂的功能。比如我们可以根据key进行聚合，或者是计算交集等。

所以本身pairRDD只不过是数据类型是KV结构的RDD而已，并没有太多的内涵，大家不需要担心。

Pair RDD转化操作

Pair RDD也是RDD，所以之前介绍的RDD的转化操作Pair RDD自然也可以使用。它们两者有些像是类继承的关系，RDD是父类，Pair RDD是实现了一些新特性的子类。子类可以调用父类当中所有的方法，但是父类却不能调用子类中的方法。

调用的时候需要注意，由于我们的Pair RDD中的数据格式是KV的二元组，所以我们传入的函数必须是针对二元组数据的，不然的话可能运算的结果会有问题。下面我们来列举一些最常用的转化操作。

为了方便演示，我们用一个固定的RDD来运行各种转化操作，来直观了解一下这些转化操作究竟起什么样的作用。

ex1 = sc.parallelize([[1, 2], [3, 4], [3, 5]])

keys，values和sortByKey

这三个转化操作应该是最常用也是最简单的，简单到我们通过字面意思就可以猜出它们的意思。

我们先来看keys和values：

我们的RDD当中二元组当中的第一个元素会被当做key，第二个元素当做value，需要注

最低0.47元/天 解锁文章
Pair RDD的操作
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 982
大数据实验教学系统Pair RDD的操作一些Spark操作只在键值对的RDDs上可用。Spark在包含key/value对的RDDs上提供了专门的transformation API，包括reduceByKey、groupByKey、sortByKey和join等。   Pair RDDs让我们能够在key上并行操作，或者跨网络重新组织数据。Key/value RDDs常被用于执行聚合操作，以及常被用来完成初始的ETL(extract, transform, load)以获取key/value格式数据。掌握
Spark RDD常用算子操作详解
m0_68989328的博客
07-29 1229
RDD，全称为Resilient Distributed Dataset，是一种分布式的数据集，具有容错能力。它是Spark的核心数据抽象，允许我们以并行和分布式的方式处理数据。RDD支持两类操作：转化（Transformations）和行动（Actions）。
Spark pairRDD（键值对）操作：聚合、分组、连接、排序
Yage的博客
05-11 6068
Spark 为包含键值对类型的RDD 提供了一些专有的操作。这些RDD 被称为pair RDD。Pair RDD 是很多程序的构成要素，因为它们提供了并行操作各个键或跨节点重新进行数据分组的操作接口。我们通常从一个RDD 中提取某些字段（例如代表事件时间、用户ID 或者其他标识符的字段），并使用这些字段作为pair RDD 操作中的键。 1 Pair RDD的转化操作 Pair RDD 可以使用所...
Spark学习—PairRDD编程
if(true){ I love it }
05-16 3099
PairRDD:键值对RDD,其是Spark中转化操作常用的数据类型。上一篇文件《》我们就使用了PairRDD。PairRDD是很多程序的构成要素，因为他提供了并行操作或跨节点重新进行数据分组的操作接口。本文将结合Java示例讲解PairRDD相关接口操作。 PairRDD创建 很多存储键值对的数据格式会在读取时直接返回其键值对数据组成的pair RDD，同时也可以调用map()函数来实现，传递的函数需要返回键值对。 对应Java创建PairRDD，由于Java没有自带的二元组类型，因此Spark的J
Spark Pairrdd
caicai779369786的博客
08-09 305
创建PairRDD map()：创建RDD rdd = sc.parallelize( ["hadoop","spark","hive","spark","mapreduce"]) pairRDD = rdd.map(lambda word:(word,1)) pairRDD.foreach(print) 结果： ('hadoop', 1) ('spark', 1) ('spark', 1) ('mapreduce', 1) ('hive', 1) reduceByKey()：合并key相
【SparkCore篇06】RDD数据分区1
08-04
在SparkCore篇06中，我们聚焦于RDD数据分区，这是优化Spark性能的关键因素之一。RDD的分区决定了数据如何在集群中的节点上分布，从而影响计算效率。 首先，每个RDD都有一个唯一的分区ID，其范围是从0到...
【SparkCore篇07】RDD数据读取和保存1
08-04
对于SequenceFile，这是一种Hadoop原生的二进制key-value对存储格式，适合PairRDD。在Spark中，我们可以通过`sc.sequenceFile`方法读取或保存SequenceFile。比如： 1. 创建一个PairRDD：`val rdd = sc.parallelize...
Spark（4）RDD编程中的transformation算子和action算子使用与区别详解
weixin_43230682的博客
08-04 2432
前言 在上一篇文章中我们介绍了什么是RDD，以及RDD的属性、特征、依赖关系和缓存机制等等： Spark（3）架构原理、运行流程、RDD 那么，本文继续重点介绍一下RDD两类算子的使用。 一、编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFil
黑猴子的家：Spark 键值对 RDD 之 Pair RDD
黑猴子的博客
06-08 264
键值对 RDD 是 Spark 中许多操作所需要的常见数据类型。 本章做特别讲解。除了在基础RDD类中定义的操作之外，Spark 为包含键值对类型的 RDD 提供了一些专有的操作 在PairRDDFunctions专门进行了定义。这些 RDD 被称为 pair RDD。 有很多种方式创建pair RDD，在输入输出章节会讲解。一般如果从一个普通的RDD转为...
Spark Pair RDD键值对操作
热门推荐
周天祥的博客
03-11 3万+
Spark Pair RDD键值对操作 1 PairRDD简介 2 创建Pair RDD 3 Pair RDD的转化操作 3.1 聚合操作 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。 ...
Spark自学之路（六）——PairRDD（键值对RDD）
Aaron
11-20 4176
PairRDD pairRDD是很多程序的构成要素，因为他们提供了一些并行操作各个键或跨节点重新进行数据分组的操作接口。 下面，先给出一个WordCount.py from pyspark import SparkContext sc = SparkContext( 'local[*]', 'test') lines = sc.textFile("hdfs://Master:9000/RE...
spark pairRDD操作
qq_32216775的博客
03-27 1803
一、创建pairRDD的方法①python脚本，使用 map() 函数示例把句子的第一个单词作为键，句子作为值：>>> line=sc.parallelize(["hello world","very good","yes right"])>>> map = line.map(lambda s:((s.split(" "))[0],s))&amp
Spark二之RDD
FY_07170424的博客
08-22 595
一、Spark RDD 概述 Resilient Distributed Dataset(http://spark.apache.org/docs/latest/rdd-programming-guide.html) 回顾Spark 程序，一般都包含一个Driver Program用于运行main函数，在该函数中执行着各种各样的并行操作。其中在Spark中有重要的概念RDD。该RDD是一个带有分区的分布式数据集，将数据分布存储在Spark集群的各个节点。当对RDD做任何操作，该操作都是并行的。 RDD
Spark 入门 RDD操作
SmartSi
06-13 3540
Spark2.3.0版本:Spark2.3.0 RDD操作RDD支持两种类型的操作：转移(transformations):从现有数据集创建一个新数据集 动作(actions):在数据集上进行计算后将值返回给驱动程序例如，map是一个转移操作，传递给每个数据集元素一个函数并返回一个新RDD表示返回结果。 另一方面，reduce是一个动作操作，使用一些函数聚合RDD的所有元素并将最终结果返回给驱动...
Spark键值对Pair RDD操作
剁椒鱼不要头的博客
01-03 382
1、键值对pair RDD产生的背景 pair RDD提供了一些新的操作接口，比如统计每个产品的评论，将数据中键相同的分为一组，将两个不同的RDD进行分组合并等。我们通常从一个RDD中提取某些字段如事件时间、用户ID，并使用这些字段作为pair RDD操作中的键。 2、创建pair RDD (1)读取键值对格式数据时直接返回其键值对数据组成的pair RDD。 (2)使用map()函数将普通的RD...
04-键值对操作(pair RDD)
GYT0313
03-04 1425
前言 键值对(pair RDD)是Spark的一部分，与普通RDD具有相同的特性，却又拥有不同于普通RDD的一些特性和操作。 简单来pair RDD就是以key-value形式的RDD。 1 创建pair RDD 根据文本内容，以第一个单词作为键为例： map()函数需要设置key-value参数，如该例中：key=x.split(" ")[0], value=x。 2 pair RDD的转换操...
Spark每日半小时（6）——创建PairRDD
DK_ing的博客
06-03 798
动机 Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为pairRDD。PairRDD是很多程序的构成要素，因为它们提供了并行操作各个键或跨节点重新进行数据分组的接口操作。例如，pairRDD提供reduceByKey()方法，可以分别归约每个键对应的数据，还有join()方法，可以把两个RDD中键相同的元素组合到一起，合并为一个RDD。我们通常从一个RDD中提取某些字段，...
spark pair rdd
最新发布
01-15
### Spark 中 Pair RDD 的使用方法及示例 #### 定义与创建 Pair RDD Pair RDD 是一种特殊的 RDD，其中每个元素都是由键值对组成的。可以利用现有的数据集通过转换操作来创建 Pair RDD。 ```python from pyspark import SparkContext sc = SparkContext("local", "pair_rdd_example") data = [(1, 2), (3, 4), (3, 6)] rdd = sc.parallelize(data) ``` 此代码片段展示了如何基于 Python 列表 `data` 创建一个名为 `rdd` 的 Pair RDD 实例[^1]。 #### 行动操作实例 ##### countByKey 用于统计每种键的数量： ```python result_count_by_key = rdd.countByKey() print(dict(result_count_by_key)) ``` 这段代码将会输出 `{1: 1, 3: 2}` ，表示对于给定的数据集中键 '1' 和 '3' 各自出现了一次和两次[^4]。 ##### collectAsMap 将整个 Pair RDD 收集到驱动程序端作为字典返回： ```python map_result = rdd.collectAsMap() print(map_result) ``` 这会打印出类似于 `defaultdict(<class 'list'>, {1: 2, 3: 4})` 结果；请注意这里只显示了第一个遇到的值，因为字典不允许重复键存在. ##### lookup 查找特定键关联的所有值: ```python looked_up_values = rdd.lookup(3) print(list(looked_up_values)) ``` 上述命令会展示 `[4, 6]` 这两个数值，它们都与键 '3' 关联在一起. #### 转换操作实例 考虑另一个例子说明 `subtractByKey` 方法的作用——它允许从当前 RDD 移除那些其键存在于参数指定的其他 RDD 当中的项： ```python another_data = [(3, 8), (5, 9)] another_rdd = sc.parallelize(another_data) subtracted_rdd = rdd.subtractByKey(another_rdd) collected_subtraction_results = subtracted_rdd.collect() for item in collected_subtraction_results: print(item) ``` 该脚本最终会输出 `(1, 2)` , 因为原本属于原 RDD 的一对 `(3, *)` 已经被移除了，而剩下的唯一一项就是 `(1, 2)` [^2].
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值