RDD实战：排序算子 - sortBy()

已于 2024-05-30 14:07:33 修改
阅读量468 收藏 1
点赞数 3
CC 4.0 BY-SA版权
分类专栏： # Spark基础学习笔记（2） 文章标签： 排序算子 合并算子
于 2024-05-30 13:59:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/139322438

在这里插入图片描述

在本实战案例中，我们将使用Apache Spark的sortBy()算子来对一个包含学生信息的RDD进行排序操作。
排序规则如下：

  1. 首先按照性别升序排列。
  2. 在性别相同的情况下，按照年龄降序排列。

步骤1：创建学生信息列表

首先，我们创建一个包含学生姓名、性别和年龄的三元组列表。这个列表将被用来创建RDD。

val students = List(
  Tuple3("张三丰", "男", 25
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark中sortBy算子详解介绍
优快云 精品推荐
08-16 576
很多时候我们需要排序RDD中的值，对于值来说一般有单值类型、键值类型以及更为复杂的类型，如果我们想按照自定义规则排序，那么可以使用 `sortBy` 算子来实现该需求，这个算子可以将每个元素根据传入的函数映射成为一个key，然后按照这个key进行排序。
Spark 算子之sortBy使用
congge_study的博客
04-23 2141
Spark 算子之sortBy使用
Spark rdd之sortBy
南风知我意
10-15 2464
从sortBy函数的实现可以看出，第一个参数是必须传入的，而后面的两个参数可以不传入.而且sortBy函数函数的实现依赖于skeyBy和sortByKey函数，后面会进行说明
spark RDD基础装换操作--sortBy操作
weixin_43744732的博客
02-01 1129
18.sortBy操作 将词频统计的结果按照当出现的次数进行倒序排列。 scala> val rddData1 = sc.parallelize(Array(("dog",3),("cat",1),("hadoop",2),("spark",3),("apple",2))) rddData1: org.apache.spark.rdd.RDD[(String, Int)] = Parall...
RDD案例练习（Map，flatmap，reduceByKey）
qq_46120670的博客
06-02 164
统计文件内，单词出现的数量。
【Python】PySpark 数据计算 ⑤ ( RDD#sortBy方法 - 排序 RDD 中的元素 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
08-04 7559
一、RDD#sortBy 方法 1、RDD#sortBy 语法简介 2、RDD#sortBy 传入的函数参数分析 二、代码示例 - RDD#sortBy 示例 1、需求分析 2、代码示例 3、执行结果
JavaSpark | RDD实战：二次排序
liujiesxs的博客
07-22 992
二次排序 -- javaSpark
使用Spark RDD算子实现经典实战案例: 热门中文热词频Top10统计 数据分析案例
qq_55006020的博客
10-09 550
经典实战案例: 热门中文热词频Top10统计 数据分析案例 详细步骤与实现过程
Spark常用算子详解汇总 ： 实战案例、Java版本、Scala版本
行走的树
12-18 2759
Spark算子[01]：foreach，foreachPartition Spark算子[02]：coalesce，repartition Spark算子[03]：mapPartitions，mapPartitionsWithIndex 源码实战案例分析 Spark算子[04]：map，flatMap，mapToPair，flatMapToPair Spar
Spark核心算子实战：从读取到排序
4. **`sortBy`** - 排序算子，根据提供的函数对数据进行排序。在示例中，`sortBy(x => ...)`根据第二个字段的数值进行降序排序，`false`表示降序，`1`表示使用一个分区进行排序。 5. **`collect`** - 行动算子，将...
SparkRDD算子--sortBy算子
寒暄的博客
07-31 1337
语法 val newRdd = oldRdd.sortBy(func,[ascending], [numTasks]) 源码 def sortBy[K](f : scala.Function1[T, K], ascending : scala.Boolean = { /* compiled code */ }, numPartitions : scala.Int = { /* compiled code */ })(implicit ord : scala.Ordering[K], ctag : scala
SparkRDD算子--sortByKey算子
寒暄的博客
08-03 661
语法 val newRdd = oldRdd.sortByKey([ascending], [numTasks]) ascending控制排序，true为升序，false为降序 numTasks表示分区数 源码 def sortByKey(ascending : scala.Boolean = { /* compiled code */ }, numPartitions : scala.Int = { /* compiled code */ }) : org.apache.spark.rdd.RDD[sca
排序算法：sort by key和sort by算子
wyqwilliam的博客
08-27 394
sort：  
spark中的排序算子sortBy和sortByKey
zyc2913的博客
09-29 1802
package com.zyc.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * Created with IntelliJ IDEA. * Author: zyc2913@163.com * Date: 2020/9/27 20:07 * Version: 1.0 * Description:排序相关的算子的应用 */ object StudySort { de.
对于sortBy算子的一些理解
LJ2415的博客
12-14 1444
package day03 import org.apache.spark.{SparkConf, SparkContext} /** * RanagePartitioner采用的是"水塘抽样"算法,可以对数据进行相对均匀的分配 * 原理是,.在分配之前对数据进行抽样 * * 与hashPartitioner不同的是,hashPartitioner是根据key取HashCod...
Spark中RDD的sortBy排序的5种实现方法
热门推荐
muyingmiao的专栏
09-27 1万+
在RDD，ortBy可以指定对键还是value进行排序，sortBy可以通过下面5中方式实现排序 假如数据的格式如下，list中元素中分别为名称、单价、数量，字符之间用空格连接，要实现按照单价和数量降序 val products = sc.parallelize(List("A 100 10","B 200 20","C 200 30","D 400 30")) 1.通过Tuple方式，按照...
Spark学习之旅（一）SortBy
sheyuedeye的专栏
02-02 6124
spark学习之sortBy
158、Spark内核原理进阶之sortByKey算子内部实现原理
ZJ__ZFH的博客
01-24 1973
sortByKey.png   sortByKey ShuffledRDD，做shuffle read，将相同的key拉到一个partition中来 mapPartitions，对每个partitions内的key进行全局的排序
图解Spark排序算子sortBy的核心源码
朱季谦
12-06 1575
图解Spark排序算子sortBy的核心源码
Spark算子--Scala版本第1关：转换算子之map和distinct算子
最新发布
03-15
### Spark Scala `map` 和 `distinct` 转换算子使用教程 #### 1. `map` 转换算子 `map` 是一种常见的转换操作符，用于将 RDD 中的每个元素通过指定的函数进行映射并返回一个新的 RDD。其核心作用是对数据集中的每一项应用给定的函数。 以下是 `map` 的基本语法及其示例： ```scala val rdd = sc.parallelize(Seq(1, 2, 3, 4)) // 使用 map 将每个元素乘以 2 val mappedRDD = rdd.map(x => x * 2) mappedRDD.collect().foreach(println) // 输出: 2, 4, 6, 8 ``` 上述代码展示了如何利用 `map` 方法对集合内的每个元素执行特定的操作[^1]。 #### 2. `distinct` 转换算子 `distinct` 算子的作用是从原始 RDD 中移除重复的数据项，并生成新的去重后的 RDD。此方法适用于需要过滤掉冗余记录的情况。 下面是一个简单的例子来说明它的功能： ```scala val rdd = sc.parallelize(Seq(1, 2, 2, 3, 4, 4, 5)) // 应用 distinct 来去除重复值 val distinctRDD = rdd.distinct() distinctRDD.collect().foreach(println) // 输出: 1, 2, 3, 4, 5 ``` 这段代码片段清楚地表明了当存在多个相同数值时，`distinct` 如何只保留唯一实例[^2]。 #### 组合使用 `map` 和 `distinct` 在实际应用场景下，通常会结合多种转换算子一起工作。比如先对数据做某种变换再从中提取唯一的条目： ```scala val data = Seq("apple", "banana", "apple", "orange") val rdd = sc.parallelize(data) // 先把字符串转成大写形式然后再取不同种类水果的名字 val resultRDD = rdd.map(_.toUpperCase).distinct() resultRDD.collect().foreach(println) // 输出 APPLE BANANA ORANGE (顺序可能变化) ``` 这里不仅演示了怎样改变字母大小写的技巧还体现了如何去获取不重复的结果列表[^2]。 ### 总结 - **Map**: 主要是用来修改或者转化输入序列里的每一个成员。 - **Distinct**: 它的功能是用来消除那些已经存在的副本从而得到独一无二的新集合。 以上就是关于 Spark Scala 版本下的两个重要转换算子——`map` 和 `distinct` 的详细介绍以及它们的实际运用案例分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值