大量数据的排序

最新推荐文章于 2024-07-17 08:04:18 发布
原创 最新推荐文章于 2024-07-17 08:04:18 发布 · 719 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客主要介绍了数据排序思路，着重阐述了Top k问题，包括找出最大的1000个数字以及某日访问次数最多的那个IP，为数据排序相关问题提供了解决方向。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前文：

           主要为一些数据排序的思路。

一、Top k问题

1、最大的1000个数字

2、某日访问次数最多的那个 IP

大量数据排序算法的优化设计
02-10
在数据处理中，捧序是经常遇到的问题，常用算法有t冒泡法、选择法、希尔法． 三种算法程序设计分别见子程序BUBBLE、CHOICE和SHELL。就运算速度而言，以希 尔法为擐快。对于少量数据(通常在5000以下)，这三种方法耗费机时无显著差异．但随数据 量的增加．无论用何种方法计算，耗费机时均呈几何级数增长。因而对于数以万计的大量数 据来说，排序占用机时太长，因此有必要对排序的算法进行优化设计。
对大量数据进行排序
ChengkunCutting的博客
07-06 3136
一个100G的文件，内存只有4G，对其进行全排序，如何用普通的java程序编写处理 我们一般说的排序算法是内部排序，指的是可以将所有数据一次性的载入内存当中，然后进行排序。但是，当要排序的数据量相当大的时候，无法将全部的数据加载到内存中，这时就需要采用外部排序的方法，采用分而治之的思想，将大的数据文件切分为小的，内存可以一次加载完成的数据块，对每个数据块进行排序，然后用归并排序将各个数据块进行排序。形成最终的排好序的数据文件。 1TB数据使用32GB内存如何排序 　　①、把磁盘上的1TB数据分割为40块（c
数据量很大的排序问题 大量数据如何排序
热门推荐
AI吃大瓜的博客
04-14 3万+
数据量很大的排序问题 大量数据如何排序     【尊重原创，转载请注明出处】http://blog.youkuaiyun.com/guyuealian/article/details/51119499     同学某天参加腾讯面试，技术面的时候，面试官问了排序问题：     问题一：若有1T的数据，需要实现由大到小排序，你用什么办法，说说你的思路和想法？     问题二：有10个G的数据，如果
大量数据如何排序
chengp919的博客
09-03 1754
数据量很大的排序问题 http://blog.youkuaiyun.com/guyuealian/article/details/51151674
文件中海量数据的排序
aaa114514aaaa的博客
05-24 1275
有关文件中如果有大量数据，内存无法放下这种情况的解决办法，有详细的解析和代码实现
大数据排序的几种方法
ztkhhhhhd的博客
11-12 2万+
关于大数据排序方法的一些总结
大数据算法：对5亿数据进行排序
weixin_30809173的博客
10-19 3482
前言： 在大数据研究的路上，我们总要对一些很大的数据进行各种各样的操作。比如说对数据排序，比如说对数据统计，比如说对数据计算。而在大量的数据面前，我们总是束手无策，因为我们无法在限定时间的情况下，在效率上做到让人满意，也无法在限定空间的情况下，能够快速解决问题。可能我们在一些日常的开发过程中，没有遇到过这些问题。不过，现在是时候来考虑一下这样的问题了。因为，现在正值大数据的时代。 ...
海量数据排序如何实现
最新发布
摸鱼的快乐你不懂
07-17 491
海量数据的排序是一个复杂的问题，由于数据量巨大，无法一次性载入内存进行排序，因此需要采用特殊的方法。
大量数据的排序，可以用哪些种排序算法？
赵凯的博客
10-10 1万+
归并排序 快速排序 堆排序     对于内存足够大的大量数据排序，一般来说用归并排序比较好的，因为他的读取次数会比较少（在数据挖掘的理论里面，读取次数越少，排序方法越快），同时是稳定的；但是如果内存空间不足，就自然要减少次数了，所以也可以用快速排序，快速排序是目前基于比较的内部排序中被认为是最好的方法，当待排序的关键字是随机分布时，快速排序的平均时间最短；也可以利用堆排序，当N很大时，并且有序...
数据量极大时用什么排序方法比较好
weixin_41473153的博客
04-27 1万+
1.普遍认为：当N很小时，快速排序慢，归并排序快 当N很大时，并且有序程度高时，快速排序最快 当N很大时，并且有序程序低时，堆排序最快快速排序是目前基于比较的内部排序中被认为是最好的方法，当待排序的关键字是随机分布时，快速排序的平均时间最短；堆排序所需的辅助空间少于快速排序，并且不会出现快速排序可能出现的最坏情况。这两种排序都是不稳定的。若要求排序稳定，则可选用归并排序。先利用直接插入排序求得较长...
百万数据进行查询与排序
点点的博客
08-11 7245
百万数据进行查询与排序！ 在网上找了一堆，有一下几大排序算法如：快速排序，归并排序，堆排序，百万数据查询 。 那什么是快速排序：      1.  快速排序算法是一种不稳定的排序算法。其时间复杂度为O(nlogn)，最坏复杂度为O(n^2)；快排的平均空间复杂度为O(logn)，关于空间界的论断来自于《编程珠玑第2版》第113页。但是其最坏空间复杂度为O(n)。        快速排序
2024年大数据最新一看就懂的大数据排序算法：如何给100万用户数据排序？
2401_84183628的博客
05-02 247
首先，我们来看桶排序。桶排序，顾名思义，会用到“桶”，核心思想是将要排序的数据分到几个有序的桶里，每个桶里的数据再单独进行排序。桶内排完序之后，再把每个桶里的数据按照顺序依次取出，组成的序列就是有序的了。看图说话啊。桶排序的时间复杂度，是O(n)，如果不出意外的话。如果要排序的数据有 n 个，我们把它们均匀地划分到 m 个桶内，每个桶里就有 k=n/m 个元素。每个桶内部使用快速排序，时间复杂度为 O(k * logk)。
对百万数量级文件排序思路
古道湫风的博客
09-05 619
对百万数量级文件排序思路： 1、读取文件 2、将数据换分为若干个中间文件 3、对中间文件进行排序 4、归并中间文件，比较取中间文件中第一行数据（因为中间文件排序后，每个文件最小的值会放在中间文件第一位） 例： midF001：1、6、9 midF002：2、4、7 midF003：3、5、8 ...... 那最小值时，midF001中的1最小，将1拿出后，然后拿midF001的下一行数据6，然后对6、2、3进行比较，则拿出2，然后读取midF002的下一行数据4；对6、4、
mysql2000万数据怎么排序_mysql排序数据
weixin_29705519的博客
01-18 1008
一：order by的普通使用1.介绍当使用SELECT语句查询表中的数据时，结果集不按任何顺序进行排序。要对结果集进行排序，请使用ORDER BY子句。ORDER BY子句允许：对单个列或多个列排序结果集。按升序或降序对不同列的结果集进行排序。使用方式：SELECT column1, column2,...FROMtblORDERBY column1 [ASC|DESC], column2 [A...
mysql数据怎么排序_Mysql数据排序
weixin_42127783的博客
02-28 290
排序数据普通字段排序按照单一字段排序排序采用order by子句，order by后面跟上排序字段，排序字段可以放多个，多个采用逗号间隔，order by默认采用升序，如果存在where子句那么order by必须放到where语句的后面。select * from emp order by sal;| EMPNO | ENAME | JOB | MGR | HIREDATE ...
如何给100万用户数据排序?
feikudai8460的博客
11-04 2567
我们有10GB的订单数据，我们希望按订单金额(假设金额都是正整数)进行排序，但是我们的内存有限，只有几百MB，没办法一次性把10GB的数据都加 载到内存中。这个时候该怎么办呢? 桶排序(Bucket sort) 桶排序，顾名思义，会用到“桶”，核心思想是将要排序的数据分到几个有序的桶里，每个桶里的数据再单独进行排序。桶内排完序之后，再把每个桶里的数据按照顺序依次取出，组成的序列就是有序的了。比如说我们有10GB的订单数据，我们希望按订单金额(假设金额都是正整数)进行排序，但是我们的内存有限，只有几...
sort 快排解决百万级的排序
weixin_30765319的博客
03-02 328
问题:给n个整数，按从大到小的顺序，输出前m大的整数0<m,n<1000000,每个整数[-500000,500000]输入:5 33 -35 92 213 -644输出:213 92 3 思路:先按从小到大用快排排好序，然后输出排好序的数组从最后开始输出m个即可关键:1 已经达到千万数量级，1秒不能解决，必须用哈希,因为数字的范围达到百万级2 哈希针对的是输入数值处于特定范...
我又吊打面试官了，凭借MySQL海量数据优化（理论+实战）
ruanHbac的博客
07-21 241
前言 朋友们，又见面了，上篇文章咱们讲到MySQL分库分表的方法，这篇文章咱们就针对上一篇文章模拟在MySQL中海量数据的优化方法，文章干货较多，建议三连。 提示：以下是本篇文章正文内容，案例仅供参考 一、准备表数据 咱们建一张用户表，表中的字段有用户ID、用户名、地址、记录创建时间，如图所示 OK，接下来准备写一个存储过程插入一百万条数据 CREATE TABLE `t_user` ( `id` int NOT NULL, `user_name` varchar(32) CH
正整数排序
weixin_40278092的博客
03-27 357
王道数据结构最后一页的思考题，对一个最大值不超过65535的序列排序，可以用一个数组a来记录，从i=0一直到max(我这里设为50)遍历，如果待排序数组 i 存在，则a[i]++; 一句话，用 a[ ] 数组中的位置的值来表示待排数组 L[ ] 的值，再输出 a[ ] #include <stdio.h> #define MAX 50 void sort(int *L,int len...
优化大量数据排序算法
"优化大量数据排序的算法设计" 在数据处理领域，排序是一项基础且至关重要的任务，常见的排序算法包括冒泡排序（BUBBLE）、选择排序（CHOICE）和希尔排序（SHELL）。这些算法各有特点，其中希尔排序在效率上通常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值