2.5亿个整数中找出不重复的整数

最新推荐文章于 2022-02-04 09:14:20 发布
最新推荐文章于 2022-02-04 09:14:20 发布
阅读量3k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 数据结构与算法 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/magicharvey/article/details/17785143
本文介绍了一种利用2-Bitmap数据结构处理2.5亿个整数中不重复整数的方法，通过仅使用1GB内存实现高效的数据去重。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题描述：在2.5亿个整数中找出不重复的整数，注，内存不足以容纳这2.5亿个整数。


思路：采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^32 * 2 bit=1 GB内存，还可以接受。然后扫描这2.5亿个整数，查看Bitmap中相对应位，如果是00变01，01变10，10保持不变。扫描后，查看bitmap，把对应位是01的整数输出即可。



2.5亿个整数中找出不重复的数代码实现
jovon的专栏
03-18 2619
对于在2.5亿个整数中找出不重复的数（内存不足以容纳这2.5亿个整数），已经有众多前辈给出了比较详尽的算法描述，但在具体实现上现有的例子则比较简单，规模偏小。昨天生成2.5亿个数之后，开始读文件统计，结果10个小时左右没出结果。所以今天用25万个数做实验，几分钟就得出了统计结果。在VS2010环境里新建C++控制台工程，完整的实现代码如下。程序算法实现部分参考http://blog.csdn.ne
如何在大量的数据中找出不重复的整数？
perye
06-01 442
如何在大量的数据中找出不重复的整数？
在2.5亿个整数中找出不重复的整数，注，内存不足以容纳这2.5亿个整数
Java
02-04 1204
方案1：采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^32 * 2 bit=1 GB内存，还可以接受。然后扫描这2.5亿个整数，查看Bitmap中相对应位，如果是00变01，01变10，10保持不变。所描完事后，查看bitmap，把对应位是01的整数输出即可。 方案2：也可采用与第1题类似的方法，进行划分小文件的方法。然后在小文件中找出不重复的整数，并排序。然后再进行归并，注意去除重复的元素。 ...
【算法】2.5亿个整数中找出不重复的数代码实现--未消化
bandaoyu的note
10-31 1104
原文：http://ddrv.cn/a/621106 对于在2.5亿个整数中找出不重复的数（内存不足以容纳这2.5亿个整数），已经有众多前辈给出了比较详尽的算法描述，但在具体实现上现有的例子则比较简单，规模偏小。昨天生成2.5亿个数之后，开始读文件统计，结果10个小时左右没出结果。所以今天用25万个数做实验，几分钟就得出了统计结果。在VS2010环境里新建C++控制台工程，完整的实现代码如下。程序算法实现部分参考http://blog.csdn.net/leeboy_wang/article/detail
从2.5亿个数字里面找出不重复的数字的个数
sysmedia的博客
12-08 9734
问题描述如下： 有2.5亿个整数(这2.5亿个整数存储在一个数组里面，至于数组是放在外存还是内存，没有进一步具体说明)； 要求找出这2.5亿个数字里面，不重复的数字的个数； 另外，可用的内存限定为600M； 要求算法尽量高效，最优； 用一个bit表示一个数是否存在，32bit中无符号整数有4G个，共需4G bits，每个字节8 bits，需要4G/8 = 512M字节
运用bitmap解决一道海量数据处理面试题：在2.5亿个整数中找出不重复的整数，注，内存不足以容纳这2.5亿个整数。...
weixin_30781433的博客
07-15 1145
采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^32 * 2 bit=1 GB内存，还可以接受。然后扫描这2.5亿个整数，查看Bitmap中相对应位，如果是00变01，01变10，10保持不变。所描完事后，查看bitmap，把对应位是01的整数输出即可。 转载于:https://www.cnblogs.co...
BAT面试题——海量整数，找出不重复整数
12-21
【海量整数中找出不重复整数的问题】是面试中常见的数据处理挑战，尤其是在BAT（百度、阿里巴巴、腾讯）这样的大型互联网公司。这个问题的核心在于如何有效地处理大量数据，尤其是在内存有限的情况下。 首先，我们...
大数据方向面试题目
Datawhale
07-29 1179
1. 相同URL 题目: 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 方案1：估计每个文件的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 遍历文件a，对每个url求取 hash(url)%1000[比如ASCII码值求和], 然后根据所取得的值将ur...
海量数据一，从2.5亿个正整数中找到不重复的整数
书翔星空
09-19 3619
题目：从2.5亿个正整数中找到不重复的整数。 解答： int有4个字节，32位bit，最多可表示2322^{32}个正整数，即4G个正整数(1G=230,1K=2101G=2^{30},1K=2^{10}) 用2Bitmap法，每个正整数用两个bit的标志位，00表示没有出现，01表示出现1次，10表示出现多次。 开辟一个用2-Bitmap法标志4G个正整数的桶数组，则总共需要4G*2bit=
有2.5亿个整数存放在一个文件中，（已知内存容量没有此文件大）如何判断出这个文件中有多少个不相同的数。...
asdfghjkl978564的博客
04-04 175
#include<stdio.h> #include<stdlib.h> voidrecord(int**p,unsignedintk)//记录数据文件中读出的数…… { inti=k/32/5000;//p[i] intj=(k-i*5000*32)/32;...
求几亿个数中不重复元素的个数
weixin_34174105的博客
08-26 114
题目： 　　有2.5亿个无符号整数（但在文件里面），要求找出这2.5亿个数字里面，不重复的数字的个数（那些只出现一次的数字的数目）；另外，可用的内存限定为600M；要求算法高效、最优。 思路： 　　这么多个数字，全部读到内存里面肯定不行的，那么就要读一些处理一些。试想用一个标志的数组，里面放的是true或者false，表示一个数字是否是第一次被读到，最好能够把这个数字就当做数组...
从2.5亿个数字里面找出不重复的数字的个数的bitmap的解法思路
weixin_43955216的博客
07-02 732
2.5E个整数（认为无符号，取值范围为0~232）一共需要232*2bit=1G内存。 与40亿个数中找是否存在类似，40E题目是每个数占一个bit，一个字节可以放8个数，位置为value//8,偏移为value%8。因为重复与否需要2个bit位来表示，00表示未出现，01表示出现一次，10表示出现多次，11表示无意义。因此1个字节放4个数，位置为value//4，偏移为（value%4）x2（一个数需要2个bit位） 按照40E题目中方法读入每个数进行处理，读入数字后先看高位，高位为1则跳过，高位为0则根
在2.5亿个整数中找出不重复的整数
less_cold的博客
10-20 2295
使用bitmap 但是要两位，这样00表示不存在，01表示唯一，10表示重复 或者用两个bitmap，若果在第一个中出现了，就说明是重复数据，存入第二个bitmap中，然后进行比对。
大数据面试题——如何在大量的数据中找出不重复的数
weixin_30809173的博客
11-28 1844
问题描述： 在2.5亿个整数中找出不重复的数，注意，内存不足以容纳2.5亿个整数。 分析解读： 方法一：分治法 采用hash的方法，把这2.5亿个数划分到更小的文件中，从而保证每个文件的大小不超过可用内存的大小。然后对于每个小文件而言，所有的数据可以一次性被加载到内存中，因此可以使用字典或set来找到每个小文件中不重复的数。当处理完所有的文件后就可以...
2.5亿个整数中找出不重复的整数 bitmap
八荒六合唯我独尊
03-04 3169
在2.5亿个整数中找出不重复的整数，注，内存不足以容纳这2.5亿个整数。     方案1：采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^32 * 2 bit=1 GB内存，还可以接受。然后扫描这2.5亿个整数，查看Bitmap中相对应位，如果是00变01，01变10，10保持不变。所描完事后，查看bitmap，把对应位
大数据：查找不重复的整数
Leeboy_Wang的专栏
05-27 6733
//题目：在2.5亿个整数中找出不重复的整数，内存不足以容纳这2.5亿个整数。 #include #include /* 每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义 用char数组存储2-Bitmap,不用考虑大小端内存的问题 映射关系如下： |00 00 00 00| //映射|3 2 1 0| |00 00 00 00| //映射|7 6 5 4
问题描述如下： 有2.5亿个整数(这2.5亿个整数存储在一个数组里面，至于数组是放在外存还是内存，没有进一步具体说明)； 要求找出这2.5亿个数字里面，不重复的数字的个数； 另外，可用的内存限定为600M； 要求算法尽量高效，最优；
aqxiebin的专栏
08-31 1119
问题描述如下： 有2.5亿个整数(这2.5亿个整数存储在一个数组里面，至于数组是放在外存还是内存，没有进一步具体说明)； 要求找出这2.5亿个数字里面，不重复的数字的个数 ； 另外，可用的内存限定为600M； 要求算法尽量高效，最优；解决方案：其实分两次算，先算0部分 则每次统计的数的个数为2^31 以512的内存，每个数以2bit的空间就能存储足够的信息了 1，申请512M内存，作为一个数是否存在的标记flag，全清0 2，设置记数器 count，清0 3，读入一个数，如果>=0则查看
5. (其它, 20分) 求两个正整数的最大公约数与最小公倍数。 输入格式: 输入在一行中给出两个正整数M和N（≤1000）。 输出格式: 第一行输出最大公约数； 第二行输出最小公倍数。 输入样例: 9 21 输出样例: 3 63
最新发布
04-03
<think>好的，我现在需要解决这个问题：求两个正整数的最大公约数和最小公倍数。用户已经给出了输入样例是9和21，输出分别是3和63。我需要先理解问题，然后找出解决的方法，最后用C语言实现。 首先，最大公约数（GCD）是什么？GCD是两个数都能整除的最大的正整数。比如9和21，它们的公约数有1和3，所以最大的就是3。最小公倍数（LCM）则是能够同时被这两个数整除的最小的正整数，比如9和21的最小公倍数是63。 那怎么计算GCD和LCM呢？对于GCD，常用的方法是欧几里得算法，也就是辗转相除法。这个方法的步骤是：用较大的数除以较小的数，然后用余数替换较大的数，重复这个过程直到余数为零，此时较小的数就是GCD。比如，计算21和9的GCD： 21 ÷ 9 = 2余3 9 ÷ 3 = 3余0，所以GCD是3。 对于LCM，有一个公式可以利用GCD来计算：LCM(a, b) = (a × b) / GCD(a, b)。所以只要先算出GCD，就能很快得到LCM。例如，9和21的乘积是189，除以GCD3，得到63，就是LCM。 那现在我需要把这些步骤转化为C语言代码。首先，输入两个整数M和N。然后计算它们的GCD，再用公式求LCM。注意输入的M和N可能大小顺序不确定，所以在用欧几里得算法时，要确保处理正确的顺序，或者在算法中自动调整。 另外，要注意处理余数的问题。比如在辗转相除的时候，可能需要交换数值。例如，当M小于N时，先交换它们的位置，或者直接用循环处理。这里可以不用交换，因为即使M小于N，第一次计算余数后就会自动调整。 具体实现步骤： 1. 读取输入的两个整数M和N。 2. 使用欧几里得算法计算它们的GCD： a. 当N不等于0时，重复以下步骤： i. 计算M除以N的余数R。 ii. 将M设为N，N设为R。 b. 当N为0时，M就是GCD。 3. 计算LCM：用原来的两个数相乘再除以GCD。 4. 输出GCD和LCM。 需要注意的是，原来的M和N在计算GCD的过程中会被修改，所以需要提前保存它们的原始值，用于计算LCM。例如，在代码中，可以先保存它们的乘积，或者在计算GCD之前复制一份原始值。 举个例子，假设输入是9和21： - 计算GCD时，初始M=21，N=9。余数R=21%9=3。然后M=9，N=3。再计算余数9%3=0，现在N=0，所以GCD是3。 - LCM就是9*21 /3 = 189/3=63。 那在代码中如何处理呢？比如，在计算GCD之前，先保存M和N的原始值，或者在计算的时候用临时变量。或者，在输入之后，将乘积保存下来，这样即使M和N在计算GCD时被改变，乘积仍然可以被使用。但需要注意，乘积可能很大，比如如果输入的是1000和1000，乘积是1,000,000，这在C语言中int类型是可以处理的，因为通常int是32位，最大到2^31-1，大约是20亿，所以没问题。 那现在编写代码的大致结构： - 输入M和N。 - 保存原始M和N，或者保存它们的乘积。 - 计算GCD。 - 计算LCM = (原始M * 原始N) / GCD。 - 输出GCD和LCM。 可能的错误点： 1. 没有保存原始的M和N，导致计算LCM的时候用了已经被修改的值。例如，在计算GCD的过程中，M和N的值会被改变，所以必须在计算GCD之前保存它们的原始值。 例如，在代码中，用户输入了a和b，然后计算它们的GCD。在计算过程中，a和b的值会被修改，所以在计算之前需要保存它们的值，比如用变量original_a = a, original_b = b，或者在输入的时候就把它们的乘积保存下来。 例如： int m, n; scanf("%d %d", &m, &n); int product = m * n; // 计算gcd // 然后 lcm = product / gcd; 但这里有个问题，如果计算gcd的过程中m和n的值被改变，比如在辗转相除时m和n被交换，那么product的值会是原来的m*n，这没问题。例如，假设用户输入的是9和21，那么product是189，不管之后m和n的值如何变化，这个乘积还是正确的，因为原来的两个数是9和21，它们的乘积不变。所以在代码中，可以在输入之后立即计算product = m * n，然后用这个值除以gcd得到lcm。 所以，正确的步骤是： 1. 输入m和n。 2. 保存product = m * n。 3. 计算gcd，此时m和n的值会被修改。 4. lcm = product / gcd。 但要注意，如果gcd是0的话会出问题，但题目中说输入的是正整数，所以gcd至少是1，不会出现除以0的情况。 现在编写代码的具体部分： 读取输入： int m, n; scanf("%d %d", &m, &n); 计算gcd： 使用循环或者递归。这里用循环实现欧几里得算法： int a = m, b = n; while (b != 0) { int temp = b; b = a % b; a = temp; } int gcd = a; 这样，当循环结束后，a的值就是gcd。因为每次循环中，a和b的值会被更新为之前的b和a%b，直到b为0。例如，初始a=21，b=9： 第一次循环：b=9，a%9=21%9=3，所以b=3，a=9。 第二次循环：b=3，9%3=0，所以b=0，循环结束。此时a=3，gcd是3。 此时，原来的m和n的值没有被改变吗？比如，初始时m=9，n=21。在代码中，a和b是m和n的副本吗？ 是的，因为代码中将a初始化为m，b初始化为n，所以在循环中修改的是a和b的值，原来的m和n的值没有被改变。所以product = m * n是正确的。 例如，如果输入的是m=9，n=21，那么product是9*21=189。在计算gcd的过程中，a和b被修改，但m和n的值还是原来的，所以product是正确的。 然后计算lcm的时候，就是product / gcd = 189 /3 =63。 所以整个代码的流程没有问题。 那现在把这些步骤写成C语言代码： #include <stdio.h> int main() { int m, n; scanf("%d %d", &m, &n); int product = m * n; // 计算gcd int a = m, b = n; while (b != 0) { int temp = b; b = a % b; a = temp; } int gcd = a; int lcm = product / gcd; printf("%d\n%d\n", gcd, lcm); return 0; } 测试这个代码的话，输入9 21，应该输出3和63。其他测试用例比如： 输入6和8，gcd是2，lcm是24。 输入12和18，gcd是6，lcm是36。 输入5和7，gcd是1，lcm是35。 这些应该都正确。 所以这个方法是可行的。另外，有没有其他方法可以计算gcd？比如更相减损术，或者递归版本的欧几里得算法？ 递归版本的gcd函数可以这样写： int gcd(int a, int b) { if (b == 0) return a; else return gcd(b, a % b); } 但题目可能希望用循环结构，或者用户可能更习惯循环的方式。不过对于本题来说，无论是递归还是循环都是可以的。在这里，用循环可能更高效，且不需要额外的函数调用。 所以最终的代码应该正确解决问题。</think>--- ### **解决思路** 要计算两个正整数的最大公约数（GCD）和最小公倍数（LCM），可以通过以下步骤实现： 1. **计算最大公约数（GCD）**：使用**欧几里得算法**（辗转相除法）： - 用较大数除以较小数，取余数。 - 将较小数作为新的被除数，余数作为新的除数，重复直到余数为零。 - 最后的非零余数即为GCD。 2. **计算最小公倍数（LCM）**：利用公式 $LCM(a, b) = \frac{a \times b}{GCD(a, b)}$。 --- ### **C语言代码实现** ```c #include <stdio.h> int main() { int m, n; scanf("%d %d", &m, &n); int product = m * n; // 保存原始乘积 int a = m, b = n; // 欧几里得算法求GCD while (b != 0) { int temp = b; b = a % b; a = temp; } int gcd = a; int lcm = product / gcd; // 计算LCM printf("%d\n%d\n", gcd, lcm); return 0; } ``` --- ### **代码解释** 1. **输入处理**：读取两个正整数 `m` 和 `n`。 2. **保存乘积**：提前计算 `m * n` 的乘积，用于后续求LCM。 3. **求GCD**：通过循环实现欧几里得算法： - 每次将 `a` 设为当前的除数 `b`，`b` 设为余数 `a % b`。 - 当 `b` 为0时，`a` 即为GCD。 4. **求LCM**：利用公式 $LCM = \frac{m \times n}{GCD}$。 5. **输出结果**：依次输出GCD和LCM。 --- ### **输入输出示例** **输入**： ``` 9 21 ``` **输出**： ``` 3 63 ``` **解释**： - GCD(9, 21)：21 ÷ 9 余3 → 9 ÷ 3 余0，GCD为3。 - LCM(9, 21)：$(9 \times 21) / 3 = 63$。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值