从1t数据中找出最大的10个数

最新推荐文章于 2024-08-13 16:40:30 发布
最新推荐文章于 2024-08-13 16:40:30 发布
阅读量1.8k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： C++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/void_Function/article/details/8026252
本文介绍了一种从大量数据中找到最大的10个数的方法。该方法通过使用大小为10的堆来实现，首先利用前10个数据初始化堆，之后遍历剩余的数据，每次遇到新的数据时，将其与堆顶的最小元素比较并替换，确保堆始终保存最大的10个数。这种方法的时间复杂度为O(n log k)，其中n为数据总量，k为堆的大小。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

方法 ：建立一个大小为10的堆  用1t数据中的前10个初始化之  然后从第11个开始向堆中插入 每次从堆中踢出最小的  遍历整个数据 

时间复杂度为nlog10

01 实例1.1 最大子列和问题【PTA浙大版《数据结构（第2版）》题目集】
少侠PSY的博客
03-21 913
最大子列和问题
基于STC12C5A60S2系列1T 8051单片机的Proteus中的单片机通过串口通信中断方式接收计算机用串口调试助手软件发送的一串数据并返回给计算机串口调试助手软件显示出来的应用
CWQLTYH的博客
04-29 1090
作用：用来设置STC12C5A60S2系列1T 8051单片机串口通信类型、波特率main.c#define uchar unsigned char//自定义无符号字符型为uchar#define uint unsigned int//自定义无符号整数型为uintvoid PortModeSet()//端口模式设置函数void main()//主函数uchar i;//声明循环变量//定义数据变量为88//定义数据变量为1250//定义数据变量为12.5。
内存只有一个g，但是有10g的数据，怎么找出数据的前10个
Kenard的博客
08-13 1414
假设你有一组数据 [5, 12, 3, 8, 15, 7, 19, 2, 10, 6, 20, 1, 14]，我们要找出其中的前10个最大值。堆中的10个元素 [5, 6, 7, 8, 15, 14, 19, 12, 10, 20] 就是原始数据中的前10个最大值。最终堆：[5, 6, 7, 8, 15, 14, 19, 12, 10, 20]堆：[3, 6, 5, 8, 15, 7, 19, 12, 10, 20]堆：[2, 3, 5, 6, 15, 7, 19, 12, 10, 8]
PHP试题---文件1T大小数据按行存储取出重复最多的top10（运行内存有限制）
luyaran的博客
03-07 1581
最近有去Testin（云测）公司面试，有问到一个关于大文件处理的一个问题，具体问题如下：文件大小1T左右，运行内存100M，文件中有可能有重复数据，现在的需求就是取出文件里面重复数最高的top10。 我一开始给出的是理想状态下的解决方案，就是这个文件中有大量重复的数据，按着这个思想来搞的话，那我肯定是在运行内存足够的情况下来多次读取这个文件，之后就是标记每行值的重复次数，至于这个处理出来的数据放...
找出1T文件中的重复行（用单机和大数据的技术分别实现）
qq_34668897的博客
10-30 1264
场景需求： 从1T文件中找出重复行，在这1T文件中只有两行数据是一样的，从单机跟大数据的视角如何解决这个问题？ 单机思想： 假设你的计算机可用内存为500M，所以最少需要把这个文件拆成2000份来处理。怎么才能把相同的行放到一个文件中呢？这时我们可以采用 每行做hash，取得的值再对2000取模，即可以得到 值为 0 ~ 1999 的文件（2000个文件）。 这里我们需要注意的是，不同...
在1G内存和1T文件中寻找第二大字符串出现次数的优化算法
博客
10-13 444
本文介绍了在1G内存和1T文件中寻找第二大字符串出现次数的优化算法。通过设计基于分治的算法，并优化内存使用和IO操作，我们成功地解决了这个大规模数据处理的问题。实验结果表明，我们的算法在合理的时间内可以找到第二大字符串和它的出现次数。这个算法可以应用于各种大数据处理场景中。
1GB单词，限制1mb内存，怎么取词频最高的前100个
qq_21277357的博客
07-06 235
我这边生成单词是1gb 内存会很卡，你不要写那么大。
TopK问题--100W个数种找出其中最大的前K个数；
08-15 1348
一、100W个数种找出其中最大的前K个数—-建小堆 找最小–建大堆 ； 二、//100W个数种找出其中最大的前K个数； //知识回顾： //bit---比特 //Byte----字节 //*1T=1024GB //1GB=1024MB //1MB=1024KB //1KB=1024B //1B=8
找出N个元素的数组中最大的K个数
shuiziliu1025的博客
03-22 7223
题目： 给出 N 个整数（N可能很大，以致无法装入内存），找出前 K 个最大的整数 【解法一】 如果 N 的数量不是很大，例如在几千个左右，则在这种情况下，那我们就先排序一下，这里快速排序或者推排序都是很好的解决方案，平均时间复杂度为 O（N * log2N）。然后取出前 K 个，O（K）。 总共时间复杂度 O（N * log2N）+ O（K） = O（N * log2N）。 当 K =
如何在1TB文件中找到重复的两行数据
SmallCatBaby的博客
04-29 1954
前言 之前在网上看过一个很有意思的问题？ 在单机且内存不能放下全部足量的数据的情况下，如何在1T的文件中，找到重复的两行？ 看完这个问题，不妨我们来思考一下如何实现... 一.解决方案 首先实现这个问题我们的第一想到的最笨的解决方案就是对每一行都与文件中后面所有的行进行比较，这种方式的时间复杂度很高为O(n^2)... 那么有没有更好的解决方案呢... 这...
给你一个字符串找出前10个出现最多的字符
长不大的大灰狼
08-30 749
主要采用HashMap,PriorityQueue(需要指定排序规则，按照从大到小的顺序进行排序)； import java.util.*; public class Main { public static void main(String[] args) { String str = "helloffjjkfkjdfdsljfoijsgljslgasjgdjfjsdjfldghsojewfsf"; char[] array = str.toCharArray
海量处理处理
Alatebloomer的博客
06-23 297
1.单词统计假设你只有一台内存2G的笔记本，I5的四核CPU以及4T的硬盘，请设计一个程序，实现对1T英文数据进行词频分析，完成以下两个小题： （1）求所有词的词频，把相应的值存入文件； （2）找出这些词里卖弄出现频次最高的100个词，并用代码实现 　　名词解释：1T=1024G，为硬盘空间单位，词频，每个单词出现的次数。 　　解答： 　　(1).将1T的数据使用哈希函数映射到10000个文件当中...
PTA-找出一个字符串中出现次数最多的一个字符
m0_74316503的博客
11-20 986
这个程序从输入读取一行字符串，转换所有大写字母为小写，然后找出并输出出现次数最多的字符及其出现次数。它使用了一个unordered_map来存储每个字符的出现次数，并遍历这个map以找出出现次数最多的字符。
一个文本文件，找出前10个经常出现的词，但这次文件比较长，说是上亿行或十亿行，总之无法一次读入内存
leone911的博客
12-12 1994
Top K 算法详解 应用场景：         搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。         假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门。），请你统计最热门的10个查询串，要求使用的内存不能超过1G。
获取Top 10热门搜索关键词算法设计
JavaEdge全是干货的技术号
01-13 1377
搜索引擎每天接收大量用户搜索请求，把这些用户输入的搜索关键词记录，再离线统计分析，得到热门TopN搜索关键词。现有一包含10亿个搜索关键词的日志文件，如何快速获取热门榜Top 10搜索关键词？可用堆解决，堆的几个应用：优先级队列、求Top K和求中位数。
海量数据中找出出现次数最多的前10个URL（如何找出访问最多的IP，如何从大量数据中找出高频词）
热门推荐
qq_35858961的博客
08-08 1万+
教你如何迅速秒杀掉：99%的海量数据处理面试题 https://blog.youkuaiyun.com/v_july_v/article/details/7382693 十道海量数据处理面试题与十个方法大总结 https://blog.youkuaiyun.com/twlkyao/article/details/12037073 题目描述： 给定a、b两个文件，各存放50亿个url，每个url各占64B，...
海量数据排序问题一一 100G 数据，只有 100M 内存，怎么排序？
yang灬仔
09-25 4724
100G 数据，按照 100M 内存拆分，然后排序有序的数据，然后写入到 file1,file2…file100。 多路归并 第一回合： 从 file1,file2,file3……file100.取出第一个数。及最小的。所有的初始指针都是第一行。 min1=min(min1=min(fil1,file2,file3…..file100)；file2,file3…..file100...
海量数据处理方式_Allione_新浪博客
dsydly的博客
09-24 242
1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 　　方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 　　s 遍历文件a，对每个url求取hash(url)00，，然后根据所取得的值将url分别存储到...
阿里面试：一个大文件10G，里面一行行的数字(Integer, 空格分隔)，要找其中出最大的10个数字的值
xiaojizi的专栏
01-09 1803
一个大文件10G，里面一行行的数字(Integer, 空格分隔)，要找其中出最大的10个数字的值 相同的数字算作一个，比如最大的数字是 20、10、13、20、3，则最大的3个数字是 20、13、10 设计思想： 1.读取文件流获取到总的行数，对总行数进行分片，比如有1000行数据，分为10片的话，第一片数据为1-100，第二片的数据为101-200，以此类推等 2.使用多线程处理已经分片好...
查看linux系统的数据量（GB/TB/PB）
最新发布
05-29
<think>好的，用户想在Linux系统中查看数据量大小，以GB、TB或PB为单位。首先，我需要回忆常用的命令，比如du和df。du用于查看目录或文件的磁盘使用情况，而df则是查看文件系统的整体使用情况。用户提到单位，所以需要确认这些命令是否有参数可以指定单位显示。记得du的-h选项可以自动转换单位，显示为K、M、G等，可能适合用户的需求。比如du-sh/path/to/directory，这里-s是汇总，-h是易读格式。这样用户就能看到目录的总大小，单位自动调整。但用户可能想要强制使用特定单位，比如GB或TB。这时候需要检查du是否有--block-size参数，或者结合其他命令如numfmt进行格式化。另外，df-h可以显示文件系统的使用情况，包括总大小、已用和可用空间，同样用-h来人性化显示单位。但用户可能想查看某个目录下所有文件的总和，这时候可能需要使用du的组合命令，比如du-sh/*，查看根目录下各目录的大小。还需要考虑如果数据量非常大，可能需要处理PB级别的情况，这时候要确认命令是否支持大单位显示。另外，用户可能需要更详细的输出，比如同时显示不同单位的数值，或者进行排序找出最大的目录。可能需要结合sort和head命令，例如du-h/path|sort-rh|head-n10，这样可以列出最大的十个目录。另外，想到ls命令也可以显示文件大小，但默认是字节，使用-lh参数可以以易读格式显示，不过这只适用于单个文件，对于目录的话，ls不会递归统计，所以还是du更合适。还有可能需要使用ncdu这样的交互式工具，但用户可能希望用基本命令解决，不需要额外安装。所以主要聚焦在du和df的用法上。最后，总结步骤：使用du查看目录大小，df查看文件系统使用情况，结合-h参数自动转换单位，或者用--block-size指定，以及用numfmt自定义格式。同时，可能需要处理权限问题，比如需要sudo来访问某些目录的数据。</think>在Linux系统中查看数据量大小（以GB/TB/PB为单位）可通过以下步骤实现： --- ### 一、查看目录/文件大小（GB/TB单位） 1. **使用`du`命令** 查看指定目录的磁盘使用量（自动转换单位）： ```bash du -sh /path/to/directory ``` - `-s`：显示总大小 - `-h`：以易读格式输出（如`10G`、`2T`）[^1] 2. **指定单位输出** 强制以GB或TB为单位显示： ```bash du -sh --block-size=1G /path/to/directory # 以GB为单位 du -sh --block-size=1T /path/to/directory # 以TB为单位 ``` 3. **递归统计子目录** 列出所有子目录大小并按降序排列： ```bash du -h /path | sort -rh | head -n 10 ``` --- ### 二、查看文件系统总容量（TB/PB单位） 1. **使用`df`命令** 显示文件系统的磁盘空间使用情况： ```bash df -h ``` - `-h`：自动适配单位（如`1T`、`500G`） - 输出包含`Size`（总容量）和`Available`（剩余空间）[^2] 2. **过滤特定文件系统** 例如查看`/dev/sda1`分区的容量： ```bash df -h /dev/sda1 ``` --- ### 三、高级用法 1. **结合`numfmt`格式化输出** 将字节转换为PB单位（适用于极大数据量）： ```bash du -b /path/to/directory | numfmt --to=si --suffix=B ``` 2. **统计目录内文件数量** 同时显示文件数量和总大小： ```bash find /path/to/directory -type f | wc -l | xargs echo "文件数量:" du -sh /path/to/directory ``` --- ### 四、示例输出 | 命令 | 输出示例 | 说明 | |----------------------|-------------------------|-----------------------| | `du -sh /var/log` | `4.8G /var/log` | 目录总大小 | | `df -h /` | `Size: 1.8T Used: 500G`| 根分区容量 | ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值