头条面试真题:如何从 100 亿 URL 中找出相同的 URL?

大厂前端面试核心考点:从基础原理到工程实践的面经复盘 前端面试的考察形式不断变化,但底层逻辑始终如一。无论是JavaScript的原型链、闭包、异步编程,还是浏览器渲染机制、HTTP缓存、跨域与安全策略,这些知识都是构建扎实技术功底的关键。理解虚拟DOM、响应式原理与Webpack打包优化,不仅能应对源码级提问,更能指导实际工程中的性能调优。从算法思维到项目深挖,大厂面试真正关注的是候选人解决问题与技术选型的能力。本文基于2018年头条、腾讯、小米、百度四家公司的真实面试记录,梳理高频考点与实战经验,为正在准备大厂前端面试或希望系统提升技术深度的开发者提供一份 阅读详情
点击“开发者技术前线”,选择“星标”
让一部分开发者看到未来

来源:advanced-java

https://doocs.github.io/advanced-java/

题目描述

给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。请找出 a、b 两个文件共同的 URL。

解答思路

每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。

5, 000, 000, 000 * 64B ≈ 5GB * 64 = 320GB

由于内存大小只有 4G,因此,我们不可能一次性把所有 URL 加载到内存中处理。对于这种类型的题目,一般采用分治策略 ,即:把一个文件中的 URL 按照某个特征划分为多个小文件,使得每个小文件大小不超过 4G,这样就可以把这个小文件读到内存中进行处理了。

思路如下 :

首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB。使用同样的方法遍历文件 b,把文件 b 中的 URL 分别存储到文件 b0, b1, b2, ..., b999 中。这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。那么接下来,我们只需要求出这 1000 对小文件中相同的 URL 就好了。

接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合中。然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

方法总结

  1. 分而治之,进行哈希取余;

  2. 对每个子文件进行 HashSet 统计。

最近有不少老铁在后台留言说,想进大厂,但是算法不好。最近我整理了一份刷题实录,这份刷题实录,也让我进了心仪的大厂。现在开放分享给大家。希望对大家有所帮助。



任何的算法题,如同写作文一样,都有一些模板可以套用的。比如面试常考的DP(动态规划),难的是一些关键点是否能想清楚。比如你能写出动态转移方程,这题基本上就可以AC了。


整个刷题实录内容,包括 双子针、动态规划、二分查找、贪心算法、深度优先搜索、字符串、递归、字典树、排序、链表等相关专题内容。图文并茂,附有刷题答案源码。




他对知识点的讲解非常详细,比如这里的贪心算法,排版非常精美:






目前上述内容已打包成完整电子书,具体获取方式如下:
点击下面公众号卡片,关注「高薪offer与面试现场」公众号;
在「高薪offer与面试现场」公众号后台回复关键词「面试」获取下载地址。
JAVA获取两个数据量较大的ArrayList的交集、差集以及并集 JAVA获取两个数据量较大的ArrayList的交集、差集以及并集,记录一下以便查阅。JAVA获取两个数据量较大的ArrayList的交集、差集以及并集,记录一下以便查阅。JAVA获取两个数据量较大的ArrayList的交集、差集以及并集,记录一下以便查阅。 立即下载

相关推荐

快手did did_gt edid的注册过程

接口 https://gdfp.ksapisrv.com/rest/infra/gdfp/report/kuaishou/android did 是本地生成的16进制 或者 获取的 android_id did_gt 是did生成时间戳 1595073601970 public static final Random f16237a = new Random(System.currentTimeMillis()); public static long m19668a() {  &n

HURUWO的技术博客 1万+

面试:如何从 100 亿 URL 中找出相同的 URL?

点击上方“Java基基”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏原创 | Java 2020超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网...

weixin_44421461的博客 179

【rk3566/3568】Android 11移植gms

【rk3566/3568】Android 11移植gms 1、前言 测试功能时,想去Google play store去下个应用测试,发现通过网页搜索总是下载不到正确的谷歌服务框架;于是就不得不去搞一个内置的gms。 2、移植 1、需要下载Android 11对应的gms的包 opengapps 2、看下文件目录 直接移植core里面的文件,GAPPs Optional按需添加 3、在vendor下创建google目录 ...

lin_ff的博客 7656

千万条URL数据查找匹配问题

千万条大规模字符串查找匹配问题

小小程序员的博客 1016

第五节 Amesim《直动型溢流阀HCD建模》HCD5 学习资料

利用HCD原则创建直动型溢流阀的界面。这可能包括图形化表示直动型溢流阀的工作原理、操作方式和调节方法。这样的界面应当直观且易于理解,使用户能够轻松了解阀门的功能和使用方法。

m0_58052642的博客 1330

DDR4 硬件设计笔记

DDR4-DRAM是第四代支持双倍数据读取,支持随机位置存取的静态存储器。DDR4-DRAM的工作原理。DDR之T拓扑和Fly-by拓扑。DDR的硬件设计。DDR4 PCB设计要点介绍。DDR4之PCB走线间距的串扰评估。DDR4之内存通道(channel)和内存列(rank)。

qq_26815321的博客 1万+

python字典操作

1. 字典删除元素4种方法 1.1 clear()方法(删除字典内所有元素) dict = {'name': 'aabbcc', 'pwd': '123', 'url': 'http://baidu.com'} dict.clear(); # 清空词典所有条目 1.2 pop()方法(删除字典给定键 key 所对应的值,返回值为被删除的值) dict = {'name': 'aabbcc', 'pwd': '123', 'url': 'http://baidu.com'} new_dict=dict.

高压锅博客 260

【QGIS】利用“创建网格”功能实现区域等距分割与坐标转换实战

本文详细介绍了如何在QGIS中使用“创建网格”工具实现区域等距分割。通过实战演示,将北京市行政区划切割为150米正方形网格,并重点讲解了关键步骤:选择投影坐标系EPSG:3857以确保网格尺寸精确,以及将结果转换为常用的WGS84经纬度坐标。文章还涵盖了进阶技巧与常见问题解决方案,帮助用户高效完成空间网格化分析任务。

weixin_29232507的博客 96

史上最详细的经典面试题 从输入URL到看到页面发生了什么?

首先说明,本文很长,请泡一杯咖啡,抽出至少半个小时来慢慢回味。 URL的输入到浏览器解析的一系列事件 很多大公司面试喜欢问这样一道面试题,输入URL到看见页面发生了什么?,今天我们来总结一下。 简单来说,共有以下几个过程 DNS解析 发起TCP连接 发送HTTP请求 服务器处理请求并返回HTTP报文 浏览器解析渲染页面 连接结束。 下面我们来看看具体的细节 DNS解析 DNS解析实际上就是...

weixin_34029680的博客 2599

LLMOps的崛起:如何利用Langfuse和Opik构建高效的模型监控与评估体系

本文探讨了LLMOps的崛起,详细介绍了如何利用Langfuse和Opik构建高效的模型监控与评估体系。通过开源工具Langfuse的全景监控方案和Opik的三层评估体系,帮助AI工程团队实现大语言模型的全生命周期管理,提升模型性能和迭代效率。文章还提供了实战技巧和工具链集成方案,助力企业优化AI应用。

ll5678的博客 682

7.12真题华为OD机试真题 新系统 - 字符串压缩编码 (Java/Py/C/C++/Js/Go)

7.12真题华为OD机试真题 新系统 - 字符串压缩编码 (Java/Py/C/C++/Js/Go)

算法大师! 845

头条面试题:如何从 100 亿 URL 中找出相同的 URL?

点击“开发者技术前线”,选择“星标” 让一部分开发者看到未来 来源:advanced-javahttps://doocs.github.io/advanced-java/题目描述给定 a、...

开发者技术前线-DevolperFront 248

解决QT5调用软键盘qvirtualkeyboard时崩溃问题ime_pinyin::MatrixSearch::init_user_dictionary

但是偶尔也会出现问题,譬如,我这边在Arm系统上跑着程序的时候,点击用户编辑框,输入法弹出,但是再次点击密码输入框,连程序都给我崩溃了。只是提示错误:void ime_pinyin::MatrixSearch::init_user_dictionary。首先确保你的Arm版QT库已经编译了软键盘,位置有时候就和lib同级目录,qtvirtualkeyboard。QT5中的软键盘qvirtualkeyboard很好用,很多人开发嵌入式端应用的时候都会用到。此外还有很多其他的输入法字典,像。

有问题或资源连接有缺失的可以私信公众号新潮看世界获取 2075

面试百度、腾讯、阿里Java研发岗,带来研发真题100道(offer向)

搜集了几十套阿里、头条、蚂蚁金服等公司19年的面试题,把技术点整理成了视频(实际上比预期多花了不少精力),包含知识脉络 + 诸多细节,由于篇幅有限,这里以图片的形式给大家展示一部分。 大家可以先看看面试题! 阿里篇 如何实现一个高效的单向链表逆序输出? 已知sqrt(2)约等于1.414,要求不用数学库,求sqrt(2)精确到小数点后10位 给定一个二叉搜索树(BST),找到树中第 K 小的节点 LRU缓存机制 关于epoll和select的区别,以下哪些说法是正确的 从innod.

Java555222的博客 443

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

java反射和new的区别_面试百度、腾讯、阿里Java研发岗,带来研发真题100道(offer向)...

搜集了几十套阿里、头条、蚂蚁金服等公司19年的面试题,把技术点整理成了视频(实际上比预期多花了不少精力),包含知识脉络 + 诸多细节,由于篇幅有限,这里以图片的形式给大家展示一部分。大家可以先看看面试题!阿里篇如何实现一个高效的单向链表逆序输出?已知sqrt(2)约等于1.414,要求不用数学库,求sqrt(2)精确到小数点后10位给定一个二叉搜索树(BST),找到树中第 K 小的节点LRU缓存机...

weixin_39687422的博客 201

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

头条面试攻略

一面: **一面基础数据结构,基础算法题,中间件原理,使用场景,网络安全 2.链表操作(在线写代码) 4->UDP / TCP 协议 5->链表操作 [手写代码] 6->乐观锁 / 悲观锁 7->三次握手 8->Socket 9->Hbase 底层原理 10->Map 底层原理 11->数据库分表 / 分库 / 集群 12-> 消息可达性和唯一...

代码笔记 1787

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

2024大厂Android面试高频100题最新汇总(附答案详解),字节跳动面试必问

这里附上上述的技术体系图相关的几十套腾讯、头条、阿里、美团等公司2021年的面试题,把技术点整理成了视频和PDF(实际上比预期多花了不少精力),包含知识脉络 + 诸多细节,由于篇幅有限,这里以图片的形式给大家展示一部分。当程序员容易,当一个优秀的程序员是需要不断学习的,从初级程序员到高级程序员,从初级架构师到资深架构师,或者走向管理,从技术经理到技术总监,每个阶段都需要掌握不同的能力。早早确定自己的职业方向,才能在工作和能力提升中甩开同龄人。

2401_84463795的博客 747

面试题(21)十五道java开发常遇到的计算机网络协议高频面试题

一、GET 和 POST 的区别 GET请注意,查询字符串(名称/值对)是在 GET 请求的 URL 中发送的:/test/demo_form.asp?name1=value1&name2=value2 GET 请求可被缓存 GET 请求保留在浏览器历史记录中 GET 请求可被收藏为书签 GET 请求不应在处理敏感数据时使用 GET 请求有长度限制 GET 请求只应当用于取回数据POST...

cowbin2012的专栏 2万+

数据结构与算法究竟重要吗?3个月,靠着这份学习笔记,面试当场手写算法 15K-40K!

开发是面向对象。我们找工作应该更多是面向面试。哪怕进大厂真的只是去宁螺丝,但你要进去得先学会面试的时候造飞机不是么?作者13年java转Android开发,在小厂待过,也去过华为,OPPO等,去年四月份进了阿里一直到现在。等大厂待过也面试过很多人。深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长,不成体系的学习效果低效漫长且无助。这里附上上述的技术体系图相关的几十套腾讯、头条、阿里、美团等公司的面试题,把技术点整理成了视频和PDF(实际上比预期多花了不少精力),包含。

2301_82241983的博客 701

2024年Android最全2024-金三银四:阿里P9架构的Android大厂面试题总结,面试官说什么暗示你成功

架构师不是天生的,是在项目中磨练起来的,所以,我们学了技术就需要结合项目进行实战训练,那么在Android里面最常用的架构无外乎 MVC,MVP,MVVM,但是这些思想如果和模块化,层次化,组件化混和在一起,那就不是一件那么简单的事了,我们需要一个真正身经百战的架构师才能讲解透彻其中蕴含的深理。当程序员容易,当一个优秀的程序员是需要不断学习的,从初级程序员到高级程序员,从初级架构师到资深架构师,或者走向管理,从技术经理到技术总监,每个阶段都需要掌握不同的能力。烧一根不均匀的绳,从头烧到尾总共需要1个小时。

2401_84545213的博客 708

优质内容链接合集--持续更新

2021阿里、美团、头条面经总结–多视角(石墨文档) 腾讯2021实习生招聘求职干货资料包 前端简历到底怎么写才能成为大厂敲门砖

豆小匠的博客 391

2024年Web前端最全计算机网络面试题汇总_5xxcom(1),头条三面hr面会挂人吗

基础知识是前端一面必问的,如果你在基础知识这一块翻车了,就算你框架玩的再6,webpack、git、node学习的再好也无济于事,因为对方就不会再给你展示的机会,千万不要因为基础错过了自己心怡的公司。前端的基础知识杂且多,并不是理解就ok了,有些是真的要去记。当然了我们是牛x的前端工程师,每天像背英语单词一样去背知识点就没必要了,只要平时工作中多注意总结,面试前端刷下题目就可以了。开源分享:【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】正向代理类似一个跳板机,代理访问外部资源。

2301_82243603的博客 1857

知乎热搜:有个大神级女朋友是什么体验?

点击“开发者技术前线”,选择“星标????” 让一部分开发者看到未来 知乎程序员吃瓜的热门问题:有个大神级女朋友是怎样的体验,本文来自于魏俊年同学的回答,他有位在谷歌的大神女朋友。魏俊年:...

开发者技术前线-DevolperFront 568
上一篇: 2021,高薪酬的几门编程语言,学会就可以涨工资了
下一篇: 腾讯宣布员工最高可申请免息借款90万!网友:应届当码农就能一线城市买房了!
DevolperFront
博客等级 码龄8年 465粉丝 81原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值