2.5亿个整数中找出不重复的整数

最新推荐文章于 2022-02-04 09:14:20 发布
原创 最新推荐文章于 2022-02-04 09:14:20 发布 · 3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文介绍了一种利用2-Bitmap数据结构处理2.5亿个整数中不重复整数的方法，通过仅使用1GB内存实现高效的数据去重。
部署运行你感兴趣的模型镜像

问题描述：在2.5亿个整数中找出不重复的整数，注，内存不足以容纳这2.5亿个整数。


思路：采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^32 * 2 bit=1 GB内存，还可以接受。然后扫描这2.5亿个整数，查看Bitmap中相对应位，如果是00变01，01变10，10保持不变。扫描后，查看bitmap，把对应位是01的整数输出即可。



您可能感兴趣的与本文相关的镜像

GPT-SoVITS

GPT-SoVITS

AI应用

GPT-SoVITS 是一个开源的文本到语音（TTS）和语音转换模型，它结合了 GPT 的生成能力和 SoVITS 的语音转换技术。该项目以其强大的声音克隆能力而闻名，仅需少量语音样本（如5秒）即可实现高质量的即时语音合成，也可通过更长的音频（如1分钟）进行微调以获得更逼真的效果

2.5亿个整数中找出不重复的数代码实现
jovon的专栏
03-18 2634
对于在2.5亿个整数中找出不重复的数（内存不足以容纳这2.5亿个整数），已经有众多前辈给出了比较详尽的算法描述，但在具体实现上现有的例子则比较简单，规模偏小。昨天生成2.5亿个数之后，开始读文件统计，结果10个小时左右没出结果。所以今天用25万个数做实验，几分钟就得出了统计结果。在VS2010环境里新建C++控制台工程，完整的实现代码如下。程序算法实现部分参考http://blog.csdn.ne
如何在大量的数据中找出不重复的整数？
perye
06-01 491
如何在大量的数据中找出不重复的整数？
在2.5亿个整数中找出不重复的整数，注，内存不足以容纳这2.5亿个整数
Java
02-04 1238
方案1：采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^32 * 2 bit=1 GB内存，还可以接受。然后扫描这2.5亿个整数，查看Bitmap中相对应位，如果是00变01，01变10，10保持不变。所描完事后，查看bitmap，把对应位是01的整数输出即可。 方案2：也可采用与第1题类似的方法，进行划分小文件的方法。然后在小文件中找出不重复的整数，并排序。然后再进行归并，注意去除重复的元素。 ...
【算法】2.5亿个整数中找出不重复的数代码实现--未消化
我的笔记本
10-31 1136
原文：http://ddrv.cn/a/621106 对于在2.5亿个整数中找出不重复的数（内存不足以容纳这2.5亿个整数），已经有众多前辈给出了比较详尽的算法描述，但在具体实现上现有的例子则比较简单，规模偏小。昨天生成2.5亿个数之后，开始读文件统计，结果10个小时左右没出结果。所以今天用25万个数做实验，几分钟就得出了统计结果。在VS2010环境里新建C++控制台工程，完整的实现代码如下。程序算法实现部分参考http://blog.csdn.net/leeboy_wang/article/detail
从2.5亿个数字里面找出不重复的数字的个数
sysmedia的博客
12-08 9796
问题描述如下： 有2.5亿个整数(这2.5亿个整数存储在一个数组里面，至于数组是放在外存还是内存，没有进一步具体说明)； 要求找出这2.5亿个数字里面，不重复的数字的个数； 另外，可用的内存限定为600M； 要求算法尽量高效，最优； 用一个bit表示一个数是否存在，32bit中无符号整数有4G个，共需4G bits，每个字节8 bits，需要4G/8 = 512M字节
运用bitmap解决一道海量数据处理面试题：在2.5亿个整数中找出不重复的整数，注，内存不足以容纳这2.5亿个整数。...
weixin_30781433的博客
07-15 1163
采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^32 * 2 bit=1 GB内存，还可以接受。然后扫描这2.5亿个整数，查看Bitmap中相对应位，如果是00变01，01变10，10保持不变。所描完事后，查看bitmap，把对应位是01的整数输出即可。 转载于:https://www.cnblogs.co...
BAT面试题——海量整数，找出不重复整数
12-21
【海量整数中找出不重复整数的问题】是面试中常见的数据处理挑战，尤其是在BAT（百度、阿里巴巴、腾讯）这样的大型互联网公司。这个问题的核心在于如何有效地处理大量数据，尤其是在内存有限的情况下。 首先，我们...
大数据方向面试题目
Datawhale
07-29 1206
1. 相同URL 题目: 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 方案1：估计每个文件的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 遍历文件a，对每个url求取 hash(url)%1000[比如ASCII码值求和], 然后根据所取得的值将ur...
海量数据一，从2.5亿个正整数中找到不重复的整数
书翔星空
09-19 3640
题目：从2.5亿个正整数中找到不重复的整数。 解答： int有4个字节，32位bit，最多可表示2322^{32}个正整数，即4G个正整数(1G=230,1K=2101G=2^{30},1K=2^{10}) 用2Bitmap法，每个正整数用两个bit的标志位，00表示没有出现，01表示出现1次，10表示出现多次。 开辟一个用2-Bitmap法标志4G个正整数的桶数组，则总共需要4G*2bit=
有2.5亿个整数存放在一个文件中，（已知内存容量没有此文件大）如何判断出这个文件中有多少个不相同的数。...
asdfghjkl978564的博客
04-04 193
#include<stdio.h> #include<stdlib.h> voidrecord(int**p,unsignedintk)//记录数据文件中读出的数…… { inti=k/32/5000;//p[i] intj=(k-i*5000*32)/32;...
求几亿个数中不重复元素的个数
weixin_34174105的博客
08-26 124
题目： 　　有2.5亿个无符号整数（但在文件里面），要求找出这2.5亿个数字里面，不重复的数字的个数（那些只出现一次的数字的数目）；另外，可用的内存限定为600M；要求算法高效、最优。 思路： 　　这么多个数字，全部读到内存里面肯定不行的，那么就要读一些处理一些。试想用一个标志的数组，里面放的是true或者false，表示一个数字是否是第一次被读到，最好能够把这个数字就当做数组...
从2.5亿个数字里面找出不重复的数字的个数的bitmap的解法思路
weixin_43955216的博客
07-02 750
2.5E个整数（认为无符号，取值范围为0~232）一共需要232*2bit=1G内存。 与40亿个数中找是否存在类似，40E题目是每个数占一个bit，一个字节可以放8个数，位置为value//8,偏移为value%8。因为重复与否需要2个bit位来表示，00表示未出现，01表示出现一次，10表示出现多次，11表示无意义。因此1个字节放4个数，位置为value//4，偏移为（value%4）x2（一个数需要2个bit位） 按照40E题目中方法读入每个数进行处理，读入数字后先看高位，高位为1则跳过，高位为0则根
在2.5亿个整数中找出不重复的整数
less_cold的博客
10-20 2310
使用bitmap 但是要两位，这样00表示不存在，01表示唯一，10表示重复 或者用两个bitmap，若果在第一个中出现了，就说明是重复数据，存入第二个bitmap中，然后进行比对。
大数据面试题——如何在大量的数据中找出不重复的数
weixin_30809173的博客
11-28 1866
问题描述： 在2.5亿个整数中找出不重复的数，注意，内存不足以容纳2.5亿个整数。 分析解读： 方法一：分治法 采用hash的方法，把这2.5亿个数划分到更小的文件中，从而保证每个文件的大小不超过可用内存的大小。然后对于每个小文件而言，所有的数据可以一次性被加载到内存中，因此可以使用字典或set来找到每个小文件中不重复的数。当处理完所有的文件后就可以...
2.5亿个整数中找出不重复的整数 bitmap
八荒六合唯我独尊
03-04 3186
在2.5亿个整数中找出不重复的整数，注，内存不足以容纳这2.5亿个整数。     方案1：采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^32 * 2 bit=1 GB内存，还可以接受。然后扫描这2.5亿个整数，查看Bitmap中相对应位，如果是00变01，01变10，10保持不变。所描完事后，查看bitmap，把对应位
大数据：查找不重复的整数
Leeboy_Wang的专栏
05-27 6763
//题目：在2.5亿个整数中找出不重复的整数，内存不足以容纳这2.5亿个整数。 #include #include /* 每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义 用char数组存储2-Bitmap,不用考虑大小端内存的问题 映射关系如下： |00 00 00 00| //映射|3 2 1 0| |00 00 00 00| //映射|7 6 5 4
问题描述如下： 有2.5亿个整数(这2.5亿个整数存储在一个数组里面，至于数组是放在外存还是内存，没有进一步具体说明)； 要求找出这2.5亿个数字里面，不重复的数字的个数； 另外，可用的内存限定为600M； 要求算法尽量高效，最优；
aqxiebin的专栏
08-31 1131
问题描述如下： 有2.5亿个整数(这2.5亿个整数存储在一个数组里面，至于数组是放在外存还是内存，没有进一步具体说明)； 要求找出这2.5亿个数字里面，不重复的数字的个数 ； 另外，可用的内存限定为600M； 要求算法尽量高效，最优；解决方案：其实分两次算，先算0部分 则每次统计的数的个数为2^31 以512的内存，每个数以2bit的空间就能存储足够的信息了 1，申请512M内存，作为一个数是否存在的标记flag，全清0 2，设置记数器 count，清0 3，读入一个数，如果>=0则查看
计算1000内满足a4=b3+c2三个整数
最新发布
10-22
首先，用户的问题是：找出1000以内满足 \( a^4 = b^3 + c^2 \) 的整数 \( a, b, c \)。注意，范围是1000以内，所以 \( a, b, c \) 都应该是正整数，并且小于或等于1000。 我需要理解方程：\( a^4 = b^3 + c^2 \)。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值