海量数据面试题整理

最新推荐文章于 2025-11-27 12:00:20 发布
转载 最新推荐文章于 2025-11-27 12:00:20 发布 · 695 阅读 · 1
文章标签：

#面试 #2010

这段摘要包含了博客的关键信息，忽略信息技术无关的内容。

http://www.cnblogs.com/youwang/archive/2010/07/20/1781431.html

全栈无侠
关注
大数据面试题解决方案
shangguan_1234的博客
11-09 1993
1）给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？! 解决方法 将100G分成100份，将每个ip映射到相应文件中 ip_if=ip%100 找出每个文件中的出现次数最多的一个ip 再将100份里找出来的最多的一个放入一个哈希表中进行比较找出最大值 2）与上题条件相同，如何找到top K的IP？如何直接⽤用Linux系统命令实现？
在100G文件中找出出现次数最多的100个IP
热门推荐
不舍驽马
07-18 2万+
昨天面阿里最后栽在一道很常见的海量数据处理上了，也怪之前没专门花时间准备这个问题。今天参考了July的博客，又反思了下自己面试时错误的思路，重新整理为下面的解答过程。 先上July的博客对类似问题的解答思路： 搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重
海量数据处理（面试题）
丁香枝上，豆蔻梢头
08-21 669
1.给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？! 解题思路：哈希分桶法。 1，将100G文件分到1000个文件中，然后将每个IP地址映射到对应文件（IP地址转换为整数，对文件个数进行取余，然后根据结果放入对应文件，这样保证相同的IP肯定在同一文件中）； 2，统计每个文件中出现次数最多的IP，然后比较取最大
海量数据处理问题
Victor.Chang
03-02 2056
1.给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？将100G的log file分成1000份相同的Ip必定会在同一个小文件里在每个文件里找出出现次数最多的ip将找出来的1000个最多ip进行比较，找出最多的一个2.给定100亿个整数，设计算法找到只出现一次的整数 给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件交集 个文...
海量数据处理面试题
未知陨落的博客
11-25 1363
给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件交集？ 方案1:将其中一个文件1的整数映射到一个位图中，读取另外一个文件2中的整数，判断在不在位图，在就是交集。消耗500M内存 方案2:将文件1的整数映射到位图1中，将文件2的整数映射到位图2中，然后将两个位图中的数按位与。与之后为1的位就是交集。消耗内存1G
面试常见海量数据场景题
文杰的博客
02-21 3177
面试场景题整理
海量数据面试题整理 .
MOKA
08-03 592
转自：小桥流水http://www.cnblogs.com/youwang/archive/2010/07/20/1781431.html
海量数据处理面试题整理
Jack Zhou的专栏
07-10 3989
本文整理自July的博客：http://blog.youkuaiyun.com/v_JULY_v 　　1、海量日志数据，提取出某日访问百度次数最多的那个IP。 　　首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用ha
海量数据面试题整理txt
10-12
### 海量数据处理与面试题解析 #### 1. URL 去重算法 在处理海量URL时，需要高效地进行去重处理。一种常见的方式是通过哈希集(hash set)来实现。 - **方法一**：对于每个URL，将其添加到一个哈希集中。如果哈希...
面试必问——Redis 主从同步
2301_79966297的博客
11-26 504
偏移量，随着记录在repl_baklog中的数据增多而逐渐增大。salve完成同步时也会记录当前同步的offset。如果salve的offset小于master的offset，说明salve的数据落后于master，需要更新。：简称replid,是数据集的标记，id一致则说明是同一个数据集。每个master都有唯一的replid,salve则会继承master节点的replid。：单点的Redis的并发能力是有限的，要进一步提高Redis的并发能力，就需要搭建主从集群，实现读写分离。
收藏！软件测试面试题
2401_86705770的博客
11-26 565
作为一位过来人也是希望大家少走一些弯路，如果你不想再体验一次学习时找不到资料，没人解答问题，坚持几天便放弃的感受的话，在这里我给大家分享一些自动化测试的学习资源，希望能给你前进的路上带来帮助。
JMeter 设置请求头信息的详细步骤
2401_88752464的博客
11-26 408
下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取【保证100%免费】​​​。
【接口自动化测试】一步一步教你搭建接口环境
2401_88326437的博客
11-26 394
下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取【保证100%免费】​​​。
运维老兵的肺腑之言：面试不是考试，这10条“潜规则”早知道早涨薪
关注微信公众号【开源Linux】，后台回复『10T』，领取10T学习资源大放送，涵盖Linux、虚拟化、容器、云计算、网络、Python、Go等书籍和视频
11-27 359
作为一个在运维圈摸爬滚打多年的老兵，今天不聊具体的命令和脚本，聊聊那些面试官不会明说，但你必须懂的“潜规则”。想要打破死锁，唯一的办法就是先玩命提升技术，手里握着好几个Offer的时候，你才有资格谈“选择”。换位思考，如果你是项目经理，你会为了帮老板省点钱，招一个技术一般的员工，然后自己天天给他“擦屁股”吗？运维这条路，既要有钻研技术的“死磕精神”，也要有应对面试的“江湖智慧”。先去了解岗位需求，把你的经历往需求上靠，把做过的边缘项目用专业术语描述得更具技术含量，这就是“扬长避短”。
消费电子经典面试题100道-小米VIVO篇
xwb1040885790的博客
11-26 310
《消费电子经典面试题100道（小米、VIVO篇）详解》摘要： 本文整理了消费电子行业（小米、VIVO等企业）常见的100道技术面试题及详细解答，涵盖四大核心领域：移动应用开发（25题）、系统优化与性能（25题）、用户体验与交互（25题）以及AI与智能化（25题）。每个领域进一步细分为多个专业方向，如Android/iOS开发、性能优化、UI/UX设计、机器学习应用等。文章以第一道Android开发题为例，展示了高性能RecyclerView适配器的完整实现方案，包括DiffUtil异步计算、ViewHold
互联网大厂Java面试场景：微服务架构与数据库性能优化
最新发布
Sveinn的博客
11-27 409
本文模拟了一个互联网大厂Java面试场景，通过三轮提问涵盖了微服务架构基础、数据库性能优化以及日志与监控体系设计的技术点，同时提供了详细的答案解析，帮助开发者学习提升。用Eureka就行，Eureka是Spring Cloud的一个组件，服务启动后会注册到Eureka上，其他服务可以通过Eureka找到它。这个，微服务啊，嗯……就是把系统分成很多小服务，每个服务都是独立的，可以单独部署，适合那种……嗯，消息发出去，服务就能处理了……可以分表分库，比如按用户ID分，嗯，主库负责写，其他库负责读……
海量数据面试题整理：深度解析与高效算法
本资源是一份详尽的海量数据面试题整理文档，包含了多个与大数据处理、存储、查询以及性能优化相关的题目。以下是一些核心知识点： 1. **数据压缩与存储**：文件提到的“1000СļΪС”表明了面试者可能会被问及...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值