面试题8

最新推荐文章于 2021-04-28 19:06:59 发布
最新推荐文章于 2021-04-28 19:06:59 发布
阅读量385 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 笔试题 文章标签： 面试 百度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dengqiaodey/article/details/8078518
探讨在一G大小文件中如何找出出现频率最高的100个词，内存限制为1M，介绍解决此类问题的有效算法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【百度笔试题】

有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。

数据库常见面试题（附答案）
csdn问鼎
03-13 46万+
1.事务四大特性 原子性，要么执行，要么不执行 隔离性，所有操作全部执行完以前，其它会话不能看到过程 一致性，事务前后，数据总额一致 持久性，一旦事务提交，对数据的改变就是永久的 2.数据库隔离级别，每个级别会引发什么问题，mysql默认是哪个级别 脏读：事务B读取事务A还没有提交的数据 不可重复读：两次事务读的数据不一致 幻读:事务A修改了数据，事务B也修改了数据，这时在事务A看...
有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词.
zzran的专栏
12-27 2万+
首先，我们看到这个题目应该做一下计算，大概的计算，因为大家都清楚的知道1G的文件不可能用1M的内存空间处理。所以我们要按照1M的上线来计算，假设每个单词都为16个字节，那么1M的内存可以处理多少个单词呢？ 1M = 1024 KB = 1024 * 1024 B 。然后1M / 16B = 2^16个单词，那么1G大概有多少个单词呢？ 有2^26个单词，但是实际中远远不止这些，因为我们是按照最大单
海量数据处理：1G大小的一个文件中找出出现频率最高的100个数
五山口老法师
03-10 1万+
1.题目描述 有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M，要求返回频数最高的100个词 2.思考过程 （1）参见我的其他大数据面试题博文。此处1G文件远远大于1M内存，分治法，先hash映射把大文件分成很多个小文件，具体操作如下：读文件中，对于每个词x，取hash(x)%5000，然后按照该值存到5000个小文件(记为f0,f1,...,f4...
有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。
qq_37857224的博客
04-28 1997
计算： 所以我们要按照1M的上限来计算，假设每个单词都为16个字节，那么1M的内存可以处理多少个单词呢？ 1M = 1024 KB = 1024 * 1024 B 。然后1M / 16B = 2^16个单词 1G大概有多少个单词呢？ 有2^26个单词 但是实际中远远不止这些，因为我们是按照最大单词长度算的。 我们需要把这1G的单词分批处理，根据上面的计算，可以分成大于2^10个文件。 索性就分成2000个文件吧，怎么分呢，不能随便分，不能简单的按照单词的顺序然后模2000划分，因为这样有可能相同的单词被划分
大文件排序求频率TOP问题
wqq578
10-28 638
问题： 有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是10M。返回频数最高的100个词。 该类型问题分析（分而治之）： 1、找出一种分类方式（找到散列方式或散列函数）； 2、特殊情况考虑，防止分类后单类文件过大问题； 3、对分类的文件进行归并。 本题解决思路（分而治之）： 1、分类方式（尽可能保证相同类型在一个文件中）： （1）按照26个英文字母及...
有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词
qq_30761967的博客
08-15 1511
首次发现这个问题是还觉得挺好回答的，但是仔细一想，他说的限制内存为1M，那么就表示运行内存为1M，如果按照网上的答案： https://blog.youkuaiyun.com/qq_41946557/article/details/102708581 的话，那么内存为1M是完不成的，因为要使用HashMap记录词频不需要内存吗？不是我太杠啊，真的需要考虑啊，那么有没有一个更加可行的方案呢？其实是有的，不使用hashmap，但是和他类似的方案，即以单词为文件的命名方案，如果匹配到了一个单词，那么直接创建以这个单词名为
最新Java面试题，常见面试题及答案汇总
热门推荐
Jack方
07-12 70万+
Java最新面试题、面试题答案汇总
云原生+k8s+面试题集锦+128题
10-25
需要面试k8s相关岗位的小朋友来取，增加面试过关率
Java面试题、JVM面试题、多线程面试题、并发编程、设计模式面试题、SpringBoot面试题、SpringCloud面试题、MyBatis面试题
最新发布
02-20
包括 Java 集合、JVM、多线程、并发编程、设计...8、 java最新基础面试题及答案整理 9、 java最新面试题2024年常见面试题及答案汇总 10、 java最新面试题及答案整理汇总版 11、 java最新面试题及答案附答案汇总 12、
2023最新JAVA面试题集
03-28
2023年最新版--Java+最常见的+200++面试题汇总+答案总结汇总 阿里百度美团面试题合集 大数据面试题 100道 多线程面试59题（含答案） 最新JAVA面试题总结之基础/框架/数据库/JavaWeb/Redis BIO,NIO,AIO,Netty面试题 ...
有一个 1G 大小的一个文件，里面每一行是一个词，词的大小不超过 16 字节，内存限制大小是 1M。返回频数最高的 100 个词。
乔治大哥的博客
10-23 7435
分而治之 + hash统计 + 堆/快速排序 分而治之/hash映射：顺序读文件中，对于每个词x，取hash(x)%5000，然后按照该值存到5000个小文件（记为x0,x1,…x4999）中。这样每个文件大概是200k左右。如果其中的有的文件超过了1M大小，还可以按照类似的方法继续往下分，直到分解得到的小文件的大小都不超过1M。 hash_map统计：对每个小文件，采用trie树/hash_...
海量数据处理
青萍之末的博客
03-14 565
文章目录一、计算容量二、拆分三、解决思路之分而治之/Hash映射 + Hash统计 + 堆/快速/归并排序1、海量日志数据，提取出某日访问百度次数最多的那个IP2、有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。3、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？四...
TOP K问题
chenkui5098的博客
08-01 144
TOP K 通用思路： 1、使用Hash取模的方法将大文件划分成若干小文件； 2、使用HashMap或者字典树（trie树）对小文件进行词频统计； 3、对小文件按照词频进行排序（堆排序等），取每个小文件的前N个； 4、将小文件的结果归并排序，再对归并后的文件取前N个。 有1亿个...
海量数据处理系列——十道海量数据处理面试题与十个方法大总结
yuanlanjun
05-02 155
海量数据处理：十道面试题与十个海量数据处理方法总结 作者：July、youwang、yanxionglu。时间：二零一一年三月二十六日说明：本文分为俩部分，第一部分为10道海量数据处理的面试题，第二部分为10个海量数据处理的方法总结。有任何问题，欢迎交流、指正。出处：http://blog.youkuaiyun.com/v_JULY_v。----------------------------------...
十道海量数据处理题与十个方法大总结
lifushan123的专栏
04-20 449
第一部分、十道海量数据处理面试题 　　1、海量日志数据，提取出某日访问百度次数最多的那个IP。 　　此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。 　　再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多
航测大数据量处理_大数据量处理
weixin_32233079的博客
01-14 356
4、有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。思路：首先要求得每个词的频率，1G无法放入内存，需要分成多个小文件，对每个小文件的词进行统计(1)顺序读取文件，对每个词，可以hash(x)P00(只要不小于1024个文件，是为了保证每个小文件可以放入内存)， 这样被映射为5000个小文件，每个文件大概200K，每个文件最少12...
15道海量数据处理的问题,牛人不牛人都可以试试!
jackfirst86的专栏
03-28 633
1. 给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。   2. 有10个文件，每个文件1G， 每个文件的每一行都存放的是用户的query，每个文件的query都可能重复。要你按照query的频度排序  3. 有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16个字节，内存限制大小是1M。返回频数最高的100个词  4. 海量日志数据，提取出某日访问百度次数最多的那个IP。5.2.5亿个整数中找出不重复的整数，内存空间不足以容纳这
经典JavaScript面试题集锦
在我们深入分析给定文件的信息之前，首先要明确一点：当前的讨论和知识点生成将基于“JavaScript面试题集（很好很强大）”这一标题，以及“很好的javascript面试题，经典。我就是通过这东东面试上的”这段描述。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值