百万行级排序算法比较与研究

最新推荐文章于 2019-09-07 16:45:27 发布
原创 最新推荐文章于 2019-09-07 16:45:27 发布 · 936 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在处理百万级数据排序时遇到的问题，从最初的暴力算法到改进的排序算法，包括直接插入、希尔、选择、堆、冒泡、快速排序的比较。通过测试，发现快速排序在时间和空间复杂度上表现最优。最终，通过二分查找算法的优化，将原本耗时7小时的任务降低到15分钟，强调了算法选择和数据分析的重要性。

问题描述

     老板最近给了我一个空间数据压缩包，压缩包中包含10个文件，每一个文件中包含ID、X坐标、Y坐标、元素一、元素二五种标签，每个大约包含四百万条数据。老板对我提出的要求是以一个文件的XY坐标为准，找出其他九个文件中与其最相近的坐标，将相近坐标的两个元素复制到标准文件中。

ID X Y 元素一 元素二

菜鸟级想法

      当时听到这个要求是，脑海中立马跳出一个想法，将标准文件的XY坐标与比较文件的所有XY坐标进行求距离得到最小值就OK了嘛。想法很美好，结果很现实，写了个matlab函数进行操作结果5个小时没搞出来，这个算法的时间复杂度为 0(n2)0(n2),n为百万级单位，在我的小破笔记本上短时间计算出来好比中国足球在世界杯拿冠军。

distance=(xi−x
最低0.47元/天 解锁文章
【后端高阶面经：架构篇】51、搜索引擎架构与排序算法：面试关键知识点全解析
专注AI工程化与架构实战。从分布式思维到模型部署，用工程化视角为你厘清AI落地的真实路径。
05-31 261
倒排索引是搜索引擎实现高效检索的核心技术，通过关键词到文档的映射将查询复杂度降至O(1)。其构建流程包括数据预处理（分词、词元处理）、倒排表生成及压缩优化（差值编码、位图压缩）。相比正向索引，倒排索引更适合全文检索和模糊查询。分布式搜索引擎采用分片和副本机制实现PB级数据处理，通过分片策略和副本机制确保高可用和负载均衡。近实时检索依赖段机制和增量同步工具（如Canal+Kafka）。混合检索架构结合关键词搜索与向量化语义检索（如BERT、ResNet），并利用GPU加速提升性能。
排序小结
伯虎的网海日志
10-28 725
排序算法是一种基本并且常用的算法。由于实际工作中处理的数量巨大，所以排序算法对算法本身的速度要求很高。而一般我们所谓的算法的性能主要是指算法的复杂度，一般用O方法来表示。在后面我将给出详细的说明。    对于排序的算法我想先做一点简单的介绍，也是给这篇文章理一个提纲。   我将按照算法的复杂度，从简单到难来分析算法。   第一部分是简单排序算法，后面你将看到他们的共同点是算法复杂度为O(N*N
数据结构课程设计(C++代码+报告)--各种排序算法时间性能的比较
12-31
大二时做的课程设计，快速排序、冒泡排序、堆排序等共6种排序算法的时间比较。其中包含一份写好的报告和C++写的程序，通俗易懂。
Erlang 百万级用户排行榜桶排序
11-28
Erlang 百万级用户排行榜桶排序，在百万级用户中，高效精确查找当前人物所在排名。
百万数据排序：优化的选择排序（堆排序）
07-22 433
前一篇给大家介绍了《必知必会的冒泡排序和快速排序（面试必知）》，现在继续介绍排序算法 本博文介绍首先介绍直接选择排序，然后针对直接选择排序的缺点改进的“堆排序”，堆排序非常适合：数组规模非常大（数百万或更多） + 严格要求辅助空间的场景。 直接选择排序 (一)概念及实现 直接选择排序的原理：将整个数组视为虚拟的有序区和无序区，重复的遍历数组，每次遍...
对排序算法的研究
weixin_30493401的博客
07-10 531
算法是什么？、 算法（Algorithm）代表着用系统的方法描述解决问题的策略机制，可以通过一定规范的输入，在有限时间内获得所需要的输出。 一个算法的好坏是通过时间复杂度与空间复杂度来衡量的。 简单来说，时间复杂度就是执行算法的时间成本，空间复杂度则是执行算法的空间成本。 时间复杂度与空间复杂度都是用“大O”来表示，写作O(*)。有一点值得注...
Java二维数组冒泡排序示例：模拟Excel行级排序
在这个Java代码片段中，我们讨论的主题是二维数组的排序，具体是基于冒泡排序算法对一个3x256的整型二维数组进行排序。首先，程序创建了一个名为`s`的数组，其中的元素通过生成随机数（范围在1到10之间）填充。这个...
【Python算法与数据结构进阶】：掌握排序算法、搜索算法与复杂度分析
[【Python算法与数据结构进阶】：掌握排序算法、搜索算法与复杂度分析](https://www.edureka.co/blog/wp-content/uploads/2019/09/Graph-Traversal-Breadth-First-Search-Algorithm-Edureka.png) # 摘要 本文综述了...
MySQL核心技术：排序、连接与缓存算法解析
- 排序算法：MySQL使用sort_buffer_size进行排序，当数据无法全部放入内存时，会采用外部排序，如二路归并排序。 - 连接算法：join_buffer_size用于JOIN操作，通过下推算法优化WHERE条件过滤，减少参与JOIN的行数...
排序算法研究
sinat_33922248的博客
07-30 496
在学习JavaScript的数组时，我们知道排序有一个sort()方法，但是sort方法对数组成员进行排序时，默认的是按照字典顺序排序，即按照acsii码表来排序。但是这并不能满足我们对一组无需数字进行排序的要求，所以对排序算法进行了学习，并用代码实现。 冒泡排序（Bubble Sort）： 它的基本思想是: 1、依次比较相邻的两个数，如果不符合排序规则，则调换两个数的位置。这样一遍比较下来
排序算法探究
静静流淌的柯溪的博客
03-01 513
1、什么是排序 排序就是将一串数据按照大小顺序重新排列 2、为什么需要排序 数据处理中经常用到的一种算法。 3、为什么有这么多的排序算法 一种新算法的提出，必定是为了解决某种算法在某方面的不足。以下表格简要介绍了几种排序算法的性能。 4、几种排序算法详解 本次代码测试使用C语音编写，其他语言亦可。 1、冒泡排序 冒泡排序顾名思义就是向吐泡泡一样，一次将...
排序算法动手研究
hefonek的专栏
12-16 362
这段时间研究了一下排序算法，动手的感觉真好，学习算法也提高了兴趣。 public abstract class MySort { public int[] array; public abstract void sort(); public MySort(int[] array) { this.array = array; }
排序算法的研究总结
weixin_30776863的博客
03-06 193
前言：闲来无事，便研究起来对数组的排序算法，怕过后遗忘，特地总结一下，也希望能帮到大家 概要: 总结的算法： 冒泡排序、插入排序、选择排序 要排序的一列数(从小到大)： 1, 5, 3, 83, 46, 55, 16, 87, 28, 66, 8, 33, 47 一、冒泡排序 1.源代码 using System; using System.Collections.G...
百万数据进行查询与排序
点点的博客
08-11 7391
百万数据进行查询与排序！ 在网上找了一堆，有一下几大排序算法如：快速排序，归并排序，堆排序，百万数据查询 。 那什么是快速排序：      1.  快速排序算法是一种不稳定的排序算法。其时间复杂度为O(nlogn)，最坏复杂度为O(n^2)；快排的平均空间复杂度为O(logn)，关于空间界的论断来自于《编程珠玑第2版》第113页。但是其最坏空间复杂度为O(n)。        快速排序
七大排序算法的研究与总结
luoqishi的博客
05-25 506
本文章描述了7大排序算法内容与实现，使用语言为java，代码贴在最后，可根据需要快速定位。 1.七大算法基本内容 2.算法比较与选择 1.七大算法基本内容 七大排序算法：冒泡排序，选择排序，直接插入排序，希尔排序，快速排序，堆排序，并归排序。 由于升序和降序逻辑一样，这里只讨论升序。 1.1. 冒泡排序： 算法简述：将元素中最大的元素依次移动到最后。 算法详细：
排序算法总结
skiery的博客
09-07 544
@skiery 算法排序 排序的意义：将无序序列重新排列然后有序化。 算法稳定性：关键字相等的两个元素在排序后不改变两者的初始相对位置，则算法稳定，否则排序算法不稳定。但稳定性和排序性能无关。 1.直接插入排序 首先以一个元素为有序序列，然后将后面的元素依次插入到有序的序列中合适位置直到所有元素都插入有序序列。 ...
《算法导论》实验一：快速排序算法及其优化
allin_allin的恋爱小屋
12-13 4850
快排序算法及其优化版权声明：本文为博主原创文章，未经博主允许不得转载。 题目描述 算法设计与分析 核心代码 结果与分析 备注 总结 附录（Java源代码） 题目描述 当输入数据已经“几乎有序时”，插入排序很快，在实际应用中，我们可以利用这一特点来提高快速排序的速度。当对一个长度小于k的子数组调用快速排序时，让它不做任何排序就返回。当上一层的快速排序调用返回后，对整个数组运行插入排序完成排序过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值