头条面试题:如何从 100 亿 URL 中找出相同的 URL?

互联网大厂高频面试题基本总结回顾(含笔试高频算法整理) 1.自我介绍+项目介绍+项目细节/难点提问-------这个主要看个人的经历了,每个人都不一样 2.基础知识点考核---------还是可以去增强自己的,也是这次的主要的一些总结思路 3.算法题-----------一般都是LeetCode高频题,这个得在找工作之前的好好的练习(d对常见的高频题进行总结分析,见对应的链接提示) 阅读详情
点击“开发者技术前线”,选择“星标”
让一部分开发者看到未来

来源:advanced-java

https://doocs.github.io/advanced-java/

题目描述

给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。请找出 a、b 两个文件共同的 URL。

解答思路

每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。

5, 000, 000, 000 * 64B ≈ 5GB * 64 = 320GB

由于内存大小只有 4G,因此,我们不可能一次性把所有 URL 加载到内存中处理。对于这种类型的题目,一般采用分治策略 ,即:把一个文件中的 URL 按照某个特征划分为多个小文件,使得每个小文件大小不超过 4G,这样就可以把这个小文件读到内存中进行处理了。

思路如下 :

首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB。使用同样的方法遍历文件 b,把文件 b 中的 URL 分别存储到文件 b0, b1, b2, ..., b999 中。这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。那么接下来,我们只需要求出这 1000 对小文件中相同的 URL 就好了。

接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合中。然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

方法总结

  1. 分而治之,进行哈希取余;

  2. 对每个子文件进行 HashSet 统计。

最近有不少老铁在后台留言说,想进大厂,但是算法不好。最近我整理了一份刷题实录,这份刷题实录,也让我进了心仪的大厂。现在开放分享给大家。希望对大家有所帮助。



任何的算法题,如同写作文一样,都有一些模板可以套用的。比如面试常考的DP(动态规划),难的是一些关键点是否能想清楚。比如你能写出动态转移方程,这题基本上就可以AC了。


整个刷题实录内容,包括 双子针、动态规划、二分查找、贪心算法、深度优先搜索、字符串、递归、字典树、排序、链表等相关专题内容。图文并茂,附有刷题答案源码。




他对知识点的讲解非常详细,比如这里的贪心算法,排版非常精美:






目前上述内容已打包成完整电子书,具体获取方式如下:
点击下面公众号卡片,关注「高薪offer与面试现场」公众号;
在「高薪offer与面试现场」公众号后台回复关键词「面试」获取下载地址。
从1亿个整数中找出最大的1万个 从1亿个整数中找出最大的1万个 http://blog.youkuaiyun.com/x642458/archive/2010/03/21/5400534.aspx 不成熟的优化是万恶之源。--Donald Knuth (引用Hoare的话) 另一方面,我们不能忽视效率。--Jon Bentley 立即下载

相关推荐

机场数据治理系列介绍(1):机场行业数据中台中的数据管理顶层设计方案

民航机场行业的数据中台中,有关数据管理顶层设计方案需要结合机场行业的业务特点和技术需求进行具体的设计,今日我们简要考量设计提供一个参考方案:

机场信息系统研究员的专栏 1607

海量Top K问题

 1、海量日志数据,提取出某日访问百度次数最多的那个IP。   此题,在我之前的一篇文章算法里头有所提到,当时给出的方案是:IP的数目还是有限的,最多2^32个,所以可以考虑使用hash将ip直接存入内存,然后进行统计。   再详细介绍下此方案:首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个 IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率

Chain的博客 232

ISO26262 功能安全各个阶段测试要求

1. 开发过程说明 系统层面:包括软硬件集成测试、系统集成测试以及整车测试。 硬件层面:包括硬件集成与测试。 软件层面:单元测试、集成测试。 2. 功能安全总体要求 2.1 各项指标 2.2 诊断覆盖度举例 针对一个信号举例说明: 3. 功能安全测试要求 3.1 测试计划 核心内容应包括, 测试对象:需要测试的对象描述,以及测试的范围描...

AgingMoon的博客 1万+

java海量数据_海量数据中找到最大的100个数Java版

//维持一个容量为100的小顶堆public static int[] getTheMaxNums(int[] a){int[] result = new int[100];for(int i = 0;i<100;i++){result[i] = a[i];}int len = result.length;for(int i = len/2;i>=0;i--){adjustMinHea...

weixin_32838901的博客 352

从零构建Elasticsearch MCP代理:自然语言查询背后的技术揭秘

本文深入解析如何从零构建Elasticsearch MCP代理,实现自然语言查询的技术架构与实战应用。通过MCP协议与Elasticsearch的结合,系统能够将自然语言转换为精确的DSL查询,提升非技术用户的数据查询效率。文章详细介绍了核心架构、DSL生成引擎、端到端系统搭建及生产环境最佳实践,为开发者提供全面的技术指南。

lll78的博客 880

Mplus—交叉滞后面板模型(Cross-Lagged Panel Model, CLPM)

本文介绍交叉滞后模型相关知识,以及显变量模型与潜变量模型在Mplus中的语法。

m0_54401011的博客 1万+

找到100亿个URL中重复的URL及搜索词汇的TopK问题

题目:有一个包含100亿个url的大文件,假设每个url占用64B,请找出其中所有重复的url 补充问题:某搜索公司一天的用户搜索词汇是海量的,请设计一种求出每天热门的top 100 词汇的可行方法 思想:用哈希分流的思想来处理,把包含百亿数量的词汇文件分流到不同机器上,具体多少台机器根据面试官规定或者更多的限制来决定。对每一台机器来说,如果分到的数据量依然很大,比如内存不够或其它问题,可以再用哈希函数把每台机器的流文件拆成更小的文件处理。处理每一个小文件的时候,通过哈希表统计每种词及其词频,哈希.

h2498864708的博客 738

用宝塔面板+CentOS 7.6,30分钟搞定DNF手游私服搭建(附全套资源下载)

本文详细介绍了如何使用宝塔面板和CentOS 7.6在30分钟内快速搭建DNF手游私服。通过图形化界面操作,无需复杂命令,即可完成服务端部署、MySQL数据库配置及客户端适配,适合Linux新手快速上手。

weixin_33737774的博客 612

有一个文本文件access.log,每一行记录了访问的url和对应的ip,写一个程序,找出独立ip访问量最大的前100个url

有一个文本文件access.log,每一行记录了访问的url和对应的ip,写一个程序,找出独立ip访问量最大的前100个url。 思路 假设:log文件记录url和ip中间是一个空格隔开的 首先按行读取文本文件,将url作为key放入HashMap里面,value存放的是HashSet,set里面用来存放ip地址,目的是为了去重记录的ip地址,实际需要的其实是对应hashset里面ip的数量。 第二步,构建一个小顶堆,根据set里面的ip数量排序,拿到最大值 (没怎么写过小顶堆,主要是数据结构课上讲的,具体

Mmirror的博客 906

第47节:cesium 热力图效果(含源码+视频)

cesium 热力图效果

qq_29384639的博客 1676

DataEase 未授权+远程代码执行漏洞复现(CVE-2025-49001、CVE-2025-49002)

DataEase 是一款开源的数据分析平台,提供丰富的数据可视化和分析功能,帮助用户轻松地进行数据探索和决策支持。近日,有关DataEase 被爆出多个漏洞,其中 CVE-2025-49001 是由于JWT校验机制错误导致攻击者可伪造JWT令牌绕过身份验证流程,CVE-2025-49002 是由于H2数据库模块没有严格过滤用户输入的JDBC连接参数,可使用大小写绕过补丁。攻击者可利用这些漏洞实现未授权代码执行,威胁用户数据和系统的安全。

李同學AI安全 1948

java海量数据_关于java:海量数据处理-大量数据中找出最大的前10个数-Top-K-问题...

在工作中咱们常遇到此类问题,从一个大量甚至海量的数据中取出前几个大的数。必须在海量的文章中取出点击量最大的10篇文章。此类问题其实就是Top K问题。给定一个数据(数据量海量 N),想找到前 K 个最大的或最小的元素。eg:有10亿个Long型整数,存储在文件中,如果找出其中最大的10个?最容易想到的办法是将数据全副排序,而后在排序后的汇合中进行查找,最快的排序算法的工夫复杂度个别为O(nlogn...

weixin_33856202的博客 690

解决pd.read_json报错ValueError: Trailing data问题

首先,我们使用open函数打开JSON文件,然后使用json.load函数将JSON文件数据解码为Python对象。在使用Python进行数据处理中,我们经常需要将JSON格式的数据读入到DataFrame中进行处理。而使用pandas库的read_json函数,就可以方便地将JSON数据读入到DataFrame中。但是有时候在读取JSON数据时,会遇到一个非常常见的错误:ValueError: Trailing data。这个错误的解决方案并不难,只需要在read_json中添加一个参数即可。

学习使你进步。 2234

面试:如何从 100 亿 URL 中找出相同的 URL?

题目描述 解答思路 方法总结 题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。请找出 a、b 两个文件共同的 URL。 解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。 “ 5, 000, 000, 000 * 64B ≈ 5GB * 64 = 320GB 由于内存大小只有 4G,因此,我们不可能一次性把所有 URL 加载到内存中处理。对于这种类型的题目,一般采用分治策略 ,即:把一..

程序员白楠楠的博客 515

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

头条面试真题:如何从 100 亿 URL 中找出相同的 URL?

点击“开发者技术前线”,选择“星标” 让一部分开发者看到未来 来源:advanced-javahttps://doocs.github.io/advanced-java/题目描述给定 a、...

开发者技术前线-DevolperFront 195

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

面试题(21)十五道java开发常遇到的计算机网络协议高频面试题

一、GET 和 POST 的区别 GET请注意,查询字符串(名称/值对)是在 GET 请求的 URL 中发送的:/test/demo_form.asp?name1=value1&name2=value2 GET 请求可被缓存 GET 请求保留在浏览器历史记录中 GET 请求可被收藏为书签 GET 请求不应在处理敏感数据时使用 GET 请求有长度限制 GET 请求只应当用于取回数据POST...

cowbin2012的专栏 2万+

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

java反射和new的区别_面试百度、腾讯、阿里Java研发岗,带来研发真题100道(offer向)...

搜集了几十套阿里、头条、蚂蚁金服等公司19年的面试题,把技术点整理成了视频(实际上比预期多花了不少精力),包含知识脉络 + 诸多细节,由于篇幅有限,这里以图片的形式给大家展示一部分。大家可以先看看面试题!阿里篇如何实现一个高效的单向链表逆序输出?已知sqrt(2)约等于1.414,要求不用数学库,求sqrt(2)精确到小数点后10位给定一个二叉搜索树(BST),找到树中第 K 小的节点LRU缓存机...

weixin_39687422的博客 201

面试百度、腾讯、阿里Java研发岗,带来研发真题100道(offer向)

搜集了几十套阿里、头条、蚂蚁金服等公司19年的面试题,把技术点整理成了视频(实际上比预期多花了不少精力),包含知识脉络 + 诸多细节,由于篇幅有限,这里以图片的形式给大家展示一部分。 大家可以先看看面试题! 阿里篇 如何实现一个高效的单向链表逆序输出? 已知sqrt(2)约等于1.414,要求不用数学库,求sqrt(2)精确到小数点后10位 给定一个二叉搜索树(BST),找到树中第 K 小的节点 LRU缓存机制 关于epoll和select的区别,以下哪些说法是正确的 从innod.

Java555222的博客 443

2024大厂Android面试高频100题最新汇总(附答案详解),字节跳动面试必问

这里附上上述的技术体系图相关的几十套腾讯、头条、阿里、美团等公司2021年的面试题,把技术点整理成了视频和PDF(实际上比预期多花了不少精力),包含知识脉络 + 诸多细节,由于篇幅有限,这里以图片的形式给大家展示一部分。当程序员容易,当一个优秀的程序员是需要不断学习的,从初级程序员到高级程序员,从初级架构师到资深架构师,或者走向管理,从技术经理到技术总监,每个阶段都需要掌握不同的能力。早早确定自己的职业方向,才能在工作和能力提升中甩开同龄人。

2401_84463795的博客 747

数据结构与算法究竟重要吗?3个月,靠着这份学习笔记,面试当场手写算法 15K-40K!

开发是面向对象。我们找工作应该更多是面向面试。哪怕进大厂真的只是去宁螺丝,但你要进去得先学会面试的时候造飞机不是么?作者13年java转Android开发,在小厂待过,也去过华为,OPPO等,去年四月份进了阿里一直到现在。等大厂待过也面试过很多人。深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长,不成体系的学习效果低效漫长且无助。这里附上上述的技术体系图相关的几十套腾讯、头条、阿里、美团等公司的面试题,把技术点整理成了视频和PDF(实际上比预期多花了不少精力),包含。

2301_82241983的博客 701

2024年Android最全2024-金三银四:阿里P9架构的Android大厂面试题总结,面试官说什么暗示你成功

架构师不是天生的,是在项目中磨练起来的,所以,我们学了技术就需要结合项目进行实战训练,那么在Android里面最常用的架构无外乎 MVC,MVP,MVVM,但是这些思想如果和模块化,层次化,组件化混和在一起,那就不是一件那么简单的事了,我们需要一个真正身经百战的架构师才能讲解透彻其中蕴含的深理。当程序员容易,当一个优秀的程序员是需要不断学习的,从初级程序员到高级程序员,从初级架构师到资深架构师,或者走向管理,从技术经理到技术总监,每个阶段都需要掌握不同的能力。烧一根不均匀的绳,从头烧到尾总共需要1个小时。

2401_84545213的博客 708

2024年Web前端最全计算机网络面试题汇总_5xxcom(1),头条三面hr面会挂人吗

基础知识是前端一面必问的,如果你在基础知识这一块翻车了,就算你框架玩的再6,webpack、git、node学习的再好也无济于事,因为对方就不会再给你展示的机会,千万不要因为基础错过了自己心怡的公司。前端的基础知识杂且多,并不是理解就ok了,有些是真的要去记。当然了我们是牛x的前端工程师,每天像背英语单词一样去背知识点就没必要了,只要平时工作中多注意总结,面试前端刷下题目就可以了。开源分享:【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】正向代理类似一个跳板机,代理访问外部资源。

2301_82243603的博客 1857

jsf下拉菜单后台动态赋值_想成为BAT后台开发工程师,这些是基础!(腾讯、阿里、百度、头条、美团等)...

“互联网企业每年校招的技术面试形式类似,大多是对面试者技术基础的考察。本文面对C++后台开发岗位,收集总结了百余道技术基础题。供大家学习和准备。”文 |Amazing10c++具有哪些特点和性质,和c有什么区别指针的作用全局变量的缺点c++对象的生命周期c和C++中动态分配内存是怎样实现为什么建议多用组合少用继承编译语言和解释语言的区别面对对象的思想,还有什么其它编程思想多态是什么,...

weixin_42315966的博客 141

知乎热搜:有个大神级女朋友是什么体验?

点击“开发者技术前线”,选择“星标????” 让一部分开发者看到未来 知乎程序员吃瓜的热门问题:有个大神级女朋友是怎样的体验,本文来自于魏俊年同学的回答,他有位在谷歌的大神女朋友。魏俊年:...

开发者技术前线-DevolperFront 568

优质内容链接合集--持续更新

2021阿里、美团、头条面经总结–多视角(石墨文档) 腾讯2021实习生招聘求职干货资料包 前端简历到底怎么写才能成为大厂敲门砖

豆小匠的博客 391
上一篇: 大厂已经不收一本以下学历的员工了......
下一篇: 李国庆:建议被降级降薪员工主动辞职,网友炸了
DevolperFront
博客等级 码龄8年 465粉丝 81原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值