发现sort排序一个有意思的地方

最新推荐文章于 2022-12-15 19:20:22 发布
原创 最新推荐文章于 2022-12-15 19:20:22 发布 · 201 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文澄清了网上关于Java排序功能的误解，指出无论是集合还是数组，Java 1.8中均可使用比较符对基本数据类型进行排序。通过分析Collections.sort源码，揭示其内部将集合转化为数组，利用快速排序和优化的归并排序进行高效排序的原理。

记得以前在网上一些人说sort只能对集合进行排序，不能对数组进行排序，说是sort里用的是方法比较排序而不是比较符比较排序，而基本数据类型是不能调用方法的。对此我特意看了下源码，不知道是不是jdk版本的问题，1.8里不管是集合的sort还是数组的sort本质上都可以用比较符对基本数据类型进行比较排序（1.7，1.8开始改的还是挺多的，比如1.8接口里还能有静态含有方法体的普通方法）

这是Collections.sort的源码，对集合进行排序，很明显，它是把集合转换为数组后用数组的Arrays.sort进行比较排序的（主要使用快速排序--》排序基本数据类型和优化的归并排序--》排序Object类型），排序完了之后再把数组塞进集合里，这就比较有意思了

Leetcode 1356. 根据数字二进制下 1 的数目排序(有意思)
我不是码农的博客~~~
05-04 315
给你一个整数数组 arr 。请你将数组中的元素按照其二进制表示中数字 1 的数目升序排序。 如果存在多个数字二进制中 1 的数目相同，则必须将它们按照数值大小升序排列。 请你返回排序后的数组。 示例 1： 输入：arr = [0,1,2,3,4,5,6,7,8] 输出：[0,1,2,4,8,3,5,6,7] 解释：[0] 是唯一一个有 0 个 1 的数。 [1,2,4,8] 都有 1 个 1 。 [3,5,6] 有 2 个 1 。 [7] 有 3 个 1 。 按照 1 的个数排序得到的结果数组为 [0,1.
算法 - 侏儒（地精）排序（Gnome_sort）
曾铎的博客
08-08 1176
Gnome_sort，是一个和插入排序算法类似，但是过程又和冒泡排序十分相像的算法，这个算法和插入排序相似在两者都是将元素移动到合适的位置，并通过一系列交换完成。我觉得这个算法厉害在整个算法结构只有一层循环，在大部分数据都是有序的情况下，是可以在最大限度减少交换的回合数的。..................
5分钟白嫖我常去的三个技术网站
涛哥聊Python
06-05 1776
今天涛哥简单分享一下我常去的几个技术网站，希望对于学习Python等技术有些帮助。Reddithttps://www.reddit.com/r/Python/Reddit是个社交新闻站点...
程序员必备的60个网站，解决你编程的所有问题
BinSTD的博客
07-15 3万+
60个你可能用到的网站，建议收藏。
【干货分享】程序员常访问的国外技术交流网站汇总
weixin_30622181的博客
12-28 4434
搞技术的，如果想更高提升自身技能水平，英语这关是逃不了的。 ——某位不愿透露姓名的四级loser 技术人员经常会在各种技术交流社区游逛，大家互相学习、交流、分享、帮助。互联网拉近了地球人的距离，让全世界的技术人员可...
排序算法之地精排序
weixin_34387468的博客
11-22 294
排序算法之地精排序 地精排序是最简单的排序算法，它只用一重循环就可以实现。它也像冒泡排序一样，相邻元素之间两两进行比较，如果这两个元素逆序，则交换。与冒泡排序不同的是，它如果遇到交换操作时，变为向前冒泡，直至不发生交换操作位置。相当于做了一个插入操作，将比较小的数插入到前面的有序序列中合适的位置。所以，地精排序可以说是冒泡排...
Gnome排序（地精排序）
p812438109的专栏
11-05 2879
一）算法介绍 Gnome排序（地精排序）也称侏儒排序，是一个比较简单的稳定排序算法。 描述：它和插入排序算法非常类似，都是将元素移动到合适的位置，并通过一系列交换完成的。 特点：地精排序只有一层循环，在大部分数据是有序的情况下，可以减少交换的回合数。 二）算法原理 基本原理： 第一步：先初始化一个移动指针index，默认大小为1。 第二步：判断数据是否有交换，如果数据有交换就inde...
几个非常有意思的javascript API
m0_73257876的博客
08-30 412
CustomEvent API是个非常有意思的api, 而且非常实用, 更重要的是学起来非常简单,而且被大部分现代浏览器支持.我们可以让任意dom元素监听和触发自定义事件,只需要如下操作:// 添加一个适当的事件监听器// 创建并分发事件复制代码我们来看看CustomEvent的参数介绍:type 事件的类型名称,如上面代码中的'boom'CustomEventInit 提供了事件的配置信息,具体有以下几个属性bubbles 一个布尔值,表明该事件是否会冒泡。...
深度剖析Tim Sort - Pyhon及Chrome引擎v8使用的高效排序算法
蛋黄酱来一勺
08-05 867
你有没有好奇过，Array.sort()方法的背后，浏览器跑的是什么算法呢？ 提到排序算法，我们的第一反可能是冒泡排序、插入排序、快速排序、归并等经典排序算法。推荐一篇很棒的博客，里面列举比较了10大排序算法（附有很棒的动图），这里就不多说了。 Chrome浏览器引擎v8使用的则是不属于任何经典排序算法的Tim Sort。2002年Python的主要贡献之一的Tim Peters为这门最近非常热门的编程语言创造了这个高效的混合算法。它是根据现实中大量的数据分析，决定在什么情况下用什么算法组合达到大概率最优解
四种常见排序（冒泡、选择、插入、快速排序）--- Python版
weixin_41540084的博客
12-15 1258
冒泡排序、选择排序、插入排序、快速排序
地精排序和冒泡排序
cc_whisper的博客
08-16 392
地精排序： #coding=utf-8 #地精排序 Gnome Sort #时间复杂度O(n^2)，最优复杂度O(n),平均时间复杂度O(n^2) #先往前冒泡，一旦发生数交换就往回冒泡 def GnomeSort(L): print L i=0 while i<len(L): if i==0 or L[i-1] <= L[i]: ...
开源社区该面对现实了！
优快云资讯
10-03 2463
跟许多开源开发者一样，我也一直在围观Redis通用条款授权的评论（https://news.ycombinator.com/item?id=17814386）。其主旨是，...
Apple开始拒绝使用UIWebBrowserViewIonic的app上架
jiantsing的专栏
05-01 2337
Apple starts rejecting apps that use UIWebBrowserView： https://news.ycombinator.com/item?id=11310683 Ionic官方发布了解决方案： https://forum.ionicframework.com/t/important-all-ionic-users-please-update-you
selenium WebDriver定位元素学习总结
热门推荐
JOJOY的博客
12-08 4万+
定位元素先要掌握基本的HTML语法： http://blog.youkuaiyun.com/jojoy_tester/article/details/53222425 http://blog.youkuaiyun.com/jojoy_tester/article/details/53228674 webdriver属于selenium体系中设计出来操作浏览器的一套API，webdriver是pyt
经典排序算法 - 地精排序Gnome Sort
weixin_34293059的博客
11-23 226
经典排序算法 - 地精排序Gnome Sort 号称最简单的排序算法,只有一层循环,默认情况下前进冒泡,一旦遇到冒泡的情况发生就往回冒,直到把这个数字放好为止 直接看它排序的过程,待排数组[6 2 4 1 5 9] 先设计一个标识i=0然后从头开始判断,什么时候(i < 6)不成立,什么时候排序结束, 所以,如何控制i的值是这个算法的关键 例如待排数组: [6 2 4 1 5 9...
[排序]地精排序算法实现
钟工的算法小仓库
10-07 375
作者 zhonglihao 算法名 地精排序 Gnome Sort 分类 排序 复杂度 % 大概是1/2 * n^2时间复杂度 形式与数据结构 Matlab代码 特性 如果有序则向前，无序则往后重拍，体现地精贪心的特性 具体参考出处 民间 备注   clear all; clc; % 地精排序 len ...
地精排序算法讲解
美丽的泡沫
09-13 729
地精，这个名字我也很意外，好吧，可能是翻译的问题吧，我们不要过多纠结 和冒泡比较像，数字往前冒，一旦遇到比小的，则互换位置，往回冒，然后继续往前冒 举个例子 10, 12, 7, 5 先取10，这时候下标为0，不比较，下标0=》1 取12，12跟10比，12比10大，保持原型，下标1=》2 取7，7和前面的数12比，7比12小，互换位置，得到[10, 7, 12, 5]，下标2=》1 ...
spark的sortshuffle会强制排序吗
最新发布
11-22
<think> 嗯，用户这次在问Spark的SortShuffle是否会强制排序，看来ta对Spark的shuffle机制很感兴趣。之前讨论过Hadoop和Spark的shuffle区别，这次聚焦在Spark内部机制上。 用户引用的资料很有价值，特别是引用[1]提到SortShuffle在mapper阶段会进行两次排序。不过这里需要澄清一个关键点：第二次排序（按数据key排序）并不是必然发生的。用户可能被这些技术细节搞糊涂了，需要明确区分“分区排序”和“数据排序”两个概念。 从引用[2][4]可以看出，Spark的SortShuffle有三种模式：普通模式、bypass模式和unsafe模式。普通模式下确实会强制按key排序，这是它区别于HashShuffle的核心特征。但bypass模式就很特殊——当reduce分区数≤200且不需要聚合时，它像HashShuffle那样不排序直接写文件。 用户可能没注意到这个例外情况。ta的疑问应该源于看到不同资料对“排序”的描述不一致。需要强调这个200的阈值（spark.shuffle.sort.bypassMergeThreshold），这是理解SortShuffle是否强制排序的关键分水岭。 另外引用[3]提到的softBuffer也很有意思，虽然叫sortBuffer但实际不排序，这说明Spark命名也有迷惑性。用户如果研究过源码可能会更困惑，需要解释清楚这个缓冲区的真实作用。 考虑到用户连续追问shuffle机制，ta可能是大数据开发人员或调优工程师。下次可以建议ta关注shuffle文件合并策略对磁盘IO的影响，或者探讨为什么bypass模式要设置200这个阈值。 </think>Spark的SortShuffle**并不总是强制对数据本身排序**，是否排序取决于**运行模式**和**算子特性**，具体如下： --- ### 一、SortShuffle的三种模式与排序行为 1. **普通模式（默认）** - **强制按分区ID排序**：将数据按目标分区ID（`partitionId`）排序后写入内存缓冲区，确保同一分区的数据连续存储[^1][^2]。 - **可选按Key排序**：若算子包含聚合（如`reduceByKey`）或显式排序（如`sortByKey`），会**额外按数据Key排序**；否则仅按分区ID排序[^1]。 ```scala // 示例：reduceByKey触发按Key排序 val rdd = sc.textFile("data.txt").flatMap(_.split(" ")).map((_, 1)) rdd.reduceByKey(_ + _) // 触发SortShuffle普通模式，按Key排序 ``` 2. **Bypass模式** - **触发条件**：同时满足 (1) 下游分区数 ≤ `spark.shuffle.sort.bypassMergeThreshold`（默认200） (2) 算子无聚合操作（如`groupBy`无预聚合）[^2][^4]。 - **无任何排序**：直接为每个分区生成独立文件，类似HashShuffle，但最终合并为单一文件[^2][^4]。 ```scala // 示例：repartition触发Bypass模式（分区数≤200时） rdd.repartition(100) // 不排序，仅按分区ID写文件 ``` 3. **Unsafe模式（堆外内存优化）** - **强制按指针排序**：对堆外内存中的二进制数据按`(partitionId, key)`的指针顺序排序，不反序列化数据本身[^2]。 - **适用场景**：数据为基本类型（如int、string）且无复杂聚合[^2]。 --- ### 二、排序行为对比总结 | **模式** | 按分区ID排序 | 按数据Key排序 | 触发条件 | |----------------|--------------|------------------------|------------------------------------------| | **普通模式** | ✓ 强制 | ✓ 需聚合/显式排序 | 默认启用 | | **Bypass模式** | ✗ 不排序 | ✗ 不排序 | 分区数≤200 + 无聚合操作 | | **Unsafe模式** | ✓ 间接排序 | ✓ 间接排序（指针顺序） | 基本类型数据 + 无复杂聚合 | > **关键结论**： > 1. **分区ID排序**在普通/Unsafe模式中强制存在（Bypass模式除外）[^1][^2]。 > 2. **数据Key排序**仅在普通模式下由**算子语义触发**（如聚合），非强制行为[^1][^4]。 --- ### 三、排序的底层逻辑 - **内存缓冲区管理**： 数据先写入`SortBuffer`（引用[3]），但命名为"sort"不必然执行排序——Bypass模式下该缓冲区仅作临时存储[^3]。 - **文件生成逻辑**： ```mermaid graph LR A[数据进入Buffer] --> B{是否Bypass模式?} B -- 是 --> C[直接按分区写临时文件] B -- 否 --> D[按partitionId排序] D --> E{算子需Key排序?} E -- 是 --> F[按Key二次排序] E -- 否 --> G[写入磁盘] ``` --- ### 相关问题 1. 如何通过配置优化SortShuffle的排序性能？ 2. Bypass模式在哪些场景下可能引发数据倾斜？ 3. Unsafe模式如何通过堆外内存减少GC开销？ 4. 为什么按分区ID排序是Shuffle的基础要求？ [^1]: [Sort Shuffle主要是在Mapper阶段，在Mapper阶段，会进行两次排序](https://blog.youkuaiyun.com/qq_36269591/article/details/117762279) [^2]: [Spark Shuffle机制深度解析与优化](https://cloud.tencent.com/developer/article/1490388) [^3]: [shuffle read首先进行fetch操作](https://zhuanlan.zhihu.com/p/67061627) [^4]: [下游分区数量数量小于等于spark.shuffle.sort.bypassMergeThreshold参数的值](https://www.jianshu.com/p/89e24a9d5e0d
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值