从两个文件(各含50亿个url)中找出共同的url

最新推荐文章于 2024-08-11 08:19:26 发布
最新推荐文章于 2024-08-11 08:19:26 发布
阅读量8.7k 收藏 10
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 数据结构 文章标签： url 大数据 文件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fucangzxx/article/details/51576628
在面对50亿URL的数据量，内存仅4G的情况下，通过Bloom Filter和哈希函数将URL划分为多个小文件，利用错误率极低的Bloom Filter减少内存需求，并对比各个小文件找出共同的URL，有效解决了大数据量下的查找问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

题目描述：给A，B两个文件，各存放50亿条URL，每条URL占用64个字节，内存限制为4G，找出A，B中相同的URL。

分析：我们先来看如果要把这些URL全部加载到内存中，需要多大的空间。

1MB = 2^20 = 10^6 = 100W

1GB = 2^30 = 10^9 = 10亿

50亿 = 5G * 64 Byte = 320G

明显是不可能全部加载到内存中的。我们可采用以下方法解决：

方法1：

采用Bloom filter，假设布隆过滤器的错误率为0.01，则位数组大小m约为输入元素个数n的13倍，此时需要的哈希函数k约为8个。

最低0.47元/天 解锁文章

200万优质内容无限畅学
如何从大量的 URL 中找出相同的 URL？
黎明就要到来
06-02 535
这样处理过后，所有可能相同的 URL 都在对应的小文件中，即 a0 对应 b0, ..., a999 对应 b999，不对应的小文件不可能有相同的 URL。然后遍历 bi 中每个 URL，看在 HashSet 集合中是否存在，若存在，说明这就是共同的 URL，可以把这个 URL 保存到一个单独的文件中。，即：把一个文件中的 URL 按照某个特征划分为多个小文件，使得每个小文件大小不超过 4G，这样就可以把这个小文件读到内存中进行处理了。一般而言，URL 的长度差距不会不大，而且前面几个字符，绝大部分相同。
海量数据实战（0）从两个文件50亿数据中找出相同的URL
机器学习
09-03 8522
问题：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 方案1：可以估计每个文件安的大小为50G×64=3200G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 遍历文件a，对每个url求取hash(url)%10000hash(url)%10000hash(url)\%10000，...
海量数据处理面试题(1) 找出两文件种包含的相同的url
weixin_30539835的博客
04-14 434
问题：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 分析：50亿个url，每个url64字节，就是320G，显然是无法一次读入内存的。因此这里需要采用分治法。 方案：分治法，分支方法：哈希 步骤： 如图所示： 1 将AB两个文件，用相同的哈希函数，分解为1000个独立哈希值相同的小文件，这里哈希函数的设计是个重点。...
有两个很大文件，两个文件中存储的都是url，求出两个文件中相同的url
zwmonk的博客
03-16 3198
有两个很大文件，两个文件中存储的都是url，求出两个文件中相同的url 大文件的时候怎么办？ 我们也采用分而治之的思想：将两个大文件都进行切分，每个大文件都切成多个小文件 一个大任务=4*4个小任务 这样虽然可以达到目的但是效率太低？怎么办？ 排序，切分（规则同一） 最终将任务减少到4个 但是大文件排序仍然是一个非常消耗性能的事情，如果不需要排序就可做到这个效果尽量不要排序 怎么办？ has...
两个50亿url文件找出共同的url
zdfunk的博客
08-03 2203
两个50亿url文件找出共同的url 给A，B两个文件，各存放50亿条URL，每条URL占用64个字节，内存限制为4G，找出A，B中相同的URL。 方案1： 可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为,这里漏写个了a1）中。这样每个小文件的大约为300M。 遍历文件b，采取和a相同的方式将url分别存储到1000小文件中（记为）
面试难点题解析----请找出文件a与文件b中共同的url
Big_xbc的博客
09-25 368
问题： 给定a、b两个文件，各存放50亿个url，每个url各占64B，内存限制是4GB，请找出文件a与文件b中共同的url。 **如果没有内存的限制，可以首先将文件a中的url全部读入内存，放到HashSet中，接着从文件b中读取url，每读取一个url，就判断这个url在HashSet中是否存在，如果存在，那么这个url就是这两个文件共同的url，否则不是。**由于题目要求内存大小只有4GB，而每个文件的大小为50亿64B=564GB=320GB，远远超出了内存限制，因此，无法一次将所有url读取到内存
代码实现【mini版】——给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?
乔治大哥的博客
10-23 3120
根据https://blog.youkuaiyun.com/qq_41946557/article/details/102708186思想去写！！！ 将文件中的信息当成我们文本中的每行文件，然后两个文件中分别是100条信息，然后进行读取 hash(url) %5 首先准备两个文件：xxoo.txt ooxx.txt 取模并且存储到5个小文件中。代码清晰易懂。适合初学。 package...
URL方式查询
给你更好的
10-11 2426
数据查询 模拟数据库 类DemoDB：用于模拟一个数据库 package my; import java.util.ArrayList; import java.util.List; public class DemoDB { //全局变量 public static DemoDB i = new DemoDB(); //存储数据 List<Student>da...
查找两个大文件（1G以上）的相同内容PHP版
weixin_30824277的博客
05-06 630
这是是一个大文件处理，面试官出题的意图并不希望你两层for循环进行遍历，这种答案肯定是不会要的！ 这道题目的解法思路是： 顺序读取两个文件的的全部记录 将每条记录经过hash->转换为10进制->%n后存到10个文件中，这样一共2G的数据分成10份,每份就是204.8M，低于内存限制 我可以一次读取一个文件，并用hash桶的方式得到单个文件中的内容是否有重复，因为...
URL 的查询参数
最新发布
weixin_63490470的博客
08-11 1074
查询参数是 URL 中用于传递附加信息的一部分，通常用于在 HTTP GET 请求中传递数据。它们由键值对组成，通过问号（?）标识开始，并由与符号（&）分隔多个参数。在 Spring Boot 中，可以使用注解来获取查询参数。查询参数简单易用，但需要注意安全性和长度限制。
快速查询url参数的方法
weixin_47886687的博客
03-14 1473
在vue跳转小程序或者多页面开发时,有时用不了router,只能用原生方法查询参数,神仙同事教我的方法,现在记录一下. mounted() { this.userInfo.openid = this.getQueryString("openid");//在这里传入你想搜索的关键词,例如openid this.userInfo.storeId = this.getQueryString("storeId");//在这里传入你想搜索的关键词,例如storeId }, methods.
如何从大量的URL中找出相同的URL
wangqsse的博客
07-22 1841
1、Question 给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 a、b 两个文件共同的 URL 2、分析 50亿 * 64B = 320GB （1GB=1000 MB=1000 000 KB=1000 000 000 B） 320GB的文件，无法直接加载到内存中进行处理。对于数据量太大无法一次加载到内存的题目，一般采用分治法。把大的文件拆分中多个文件，然后单独处理每个文件，最终再汇总每个计算结果。 把320GB分成1000份，一份大概
算法系列-大数据面试题-两个大文件中找出共同记录
热门推荐
tiankong_的博客
08-16 1万+
1.题目描述 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?（假如每个url大小为10bytes） 2.思考过程 （1）首先我们最常想到的方法是读取文件a整体加载到内存中，建立哈希表（为什么要建立hash表？因为方便后面的查找），然后再读取文件b，整体加载到内存中，遍历文件b中每个url，对于每个遍历，我们都执行
两个50亿url文件找出共同的url的个人思考解法
cowcomic的专栏
10-13 2640
最近听到了一个以前的算法题，题目大概是这样的 给A，B两个文件，各存放50亿条URL，每条URL占用64个字节，内存限制为4G，找出A，B中相同的URL。 一看题干，算都不用算，肯定一次性内存加载不起来，必须想其他办法 看了一下网上主要有这两种解决方案： 第一种方法是用布隆过滤器，利用布隆过滤器的特性来获得相同URL，其实我第一次看到这个题目的时候的第一个想法也是布隆过滤器，但这种方法有个...
面试：如何从 100 亿 URL 中找出相同的 URL？
勇往直前的专栏
08-18 819
题目描述 给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 a、b 两个文件共同的 URL。 “ 推荐一个艿艿写的 6000+ Star 的 SpringBoot + SpringCloud + Dubbo 教程的仓库：https://github.com/YunaiV/SpringBoot-Labs 解答思路 每个 URL 占 64B，那么 50 亿个 URL占用的空间大小约为 320GB。 “ 5, 000, 000, 000 * 64
20240306-1-大数据的几个面试题目
qq_24428851的博客
03-06 1151
给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？方案1：估计每个文件的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。遍历文件a，对每个url求取 hash(url)%1000[比如ASCII码值求和], 然后根据所取得的值将url分别存储到1000个小文件(记为a0, a1, … , a999)中。这样每个小文件的大约为300M。
给两个文件，分别有100亿个URL，我们只有1G内存，如何找到两个文件交集？分别给出精确算法和近似算法。
我喜欢雨天的清新的博客
08-18 7234
思路分析1G内存为10亿字节，所以无法把100亿直接载入内存，所以我们可以通过哈希与位图的结合来处理该问题。先哈希到位图上，在把俩个位图按位与求其交集。解法1.我们可以申请100个vector空间，每一个vector空间保存初始化过的1亿个无符号整数。 2.用字符串哈希函数对每个url的MD5结果进行哈希，然后把字符串哈希函数得到的整数结果再进行二次哈希,每个整数都模上100,把该结果作为vect
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值