有一个2G 大的文件存放着ip地址，请统计出重复次数最多的前10个

最新推荐文章于 2025-06-04 01:49:07 发布
最新推荐文章于 2025-06-04 01:49:07 发布
阅读量582 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： python
原文链接：https://my.oschina.net/gaohongtian/blog/495294
本文介绍了一种针对大型文件（如2GB大小）中IP地址的统计方法，通过将大文件切分成小文件并采用分而治之的思想来找出重复次数最多的前10个IP地址。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

今天笔试遇到一道题目，贴出来看大家的解法如何。

有一个2G 大的文件存放着ip地址，请统计出重复次数最多的前10个。

查了一些网上类似的问题，思路通常都是讲大文件切分成许多个小文件，采用分而治之的思想，算出每个文件中最多的一个，并且记录次数。然后在求前10。

转载于:https://my.oschina.net/gaohongtian/blog/495294

从100亿条记录的文本文件中取出重复数最多的前10条
qq_26498709的博客
11-03 1万+
场景哈希分治法 这是一个 ip 地址 127.0.0.1 假设有100亿个这样的 ip 地址存在文件中 这个文件大小大约是 100GB 问题：要统计出100亿个 ip 中，重复出现次数最多的前10个分析100GB 几乎不可能一次加载进内存进行操作，所以必须要拆分 那么可以利用分治的思想，把规模大的问题化小，然后解决各个小的问题，最后得出结果。实现思路 ipv4 地址是一个 32 位的整数，
从一亿个ip找出出现次数最多的IP(分治法)
阳光心态，健康人生的博客
05-21 7022
/* 1,hash散列 2,找到每个块出现次数最多的(默认出现均匀)—–>可以用字典树 3,在每个块出现最多的数据中挑选出最大的为结果 */ 问题一： 怎么在海量数据中找出重复次数最多的一个 算法思想： 方案1：先做hash，然后求模映射为小文件，求出每个小文件中重复次数最多的一个，并记录重复次数。 然后找出上一步求出的数据中...
算法系列-大数据面试题-在超大文件中找出访问百度次数最多的IP
tiankong_的博客
08-16 8455
1.题目描述 现有海量日志数据保存在一个超级大的文件中，该文件无法直接读入内存，要求从中提取某天出访问百度次数最多的那个IP 2.思考过程 （1）面试中若题目提到大文件等，其实就是告诉你数据量大，不能一次性加载到内存中，而实际中我们就需要估算。既然是要对访问百度次数的ip做统计，我们最好先预处理一下，遍历把访问百度的所有ip写到另一个文件a中 （2）ip用32位表示，所以最多有2^
网络模型详解
最新发布
xike1024的博客
06-04 1030
两种网络模型详解
在一个很大的日志文件中查找到出现最多的ip并且记录次数
李佳航的博客
03-13 3528
问题 在一个100G的日志文件中, 查找到访问最多的IP, 获得前3个IP, 限制内存只有 1G, 不能使用MapReduce, 请使用Java实现 问题解析 既然内存只有1G 那么就不能直接使用HashMap进行统计, 可以使用MapReduce原理, 先切片, 通过Hash码进行分片, IP 相同的肯 定在一个文件中, 分片不宜太大,也不宜太小, 就用1000片吧...
在100G文件中找出出现次数最多的100个IP，要求ip和次数都精确
u010694337的专栏
04-16 3830
1.刚开始自己想的是文件分100个桶，桶里取排序前1000，后来手动证明此算法有误 2.后来想到可以另外取100个文件桶，将ip存到(ip) % 100的桶里。最后对各个文件读入内存，上hashtable即可 ...
在100G文件中找出出现次数最多的100个IP
线上幽灵
09-18 1512
这个分类很关键，如果是随便分成100份，相同的IP被分在了不同的文件中，接下来再对每个文件统计次数并做归并，这个思路就没有意义了，起不到“大而化小，各个击破，缩小规模，逐个解决”的效果了。在统计完100个文件之后，我再建立一个小顶堆，大小为100，把建立好并存在硬盘哈希表载入内存，逐个对出现次数排序，挑出出现次数最多的100个，由于次数直接和IP是对应的，找出最多的次数也就找出了相应的IP。每条IP最长为15个字节，则100G/15=6.7G条，IP一共有多少种呢，不考虑IPv6，约有256。
从1亿个ip中找出访问次数最多的IP
Frimish的博客
09-22 6451
问题一：         怎么在海量数据中找出重复次数最多的一个 算法思想：         方案1：先做hash，然后求模映射为小文件，求出每个小文件中重复次数最多的一个，并记录重复次数。         然后找出上一步求出的数据中重复次数最多的一个就是所求（如下）。   问题二：         网站日志中记录了用户的IP，找出访问次数最多的IP。
大厂面试官问我：两个1亿行的文件怎么求交集？【后端八股文十五：场景题合集】
qq_33445788的博客
07-25 2155
任务分批： 将任务分成多个批次，每次从任务列表中取出一部分任务交给线程池处理。这样可以避免一次性将大量任务提交给线程池，减少系统资源竞争。 线程池大小调优： 根据系统资源和任务的性质，合理设置线程池的大小。如果任务是 CPU 密集型的，可以设置较少的线程数；如果任务是 I/O 密集型的，可以适当增加线程数。避免线程数过多导致上下文切换频繁，影响性能。
海量数据面试题
XiaodunLP的博客
02-07 214
海量数据面试题1、给个超过100G的logfile, log中存着IP地址, 设计算法找到出现次数最多的IP地址？ 第一题：首先我们的思路就是利用哈希进行文件的切分，我们把100G大小的logfile分为1000份，那么下来差不多没一个文件就是100M左右，然后再利用哈希函数除留余数的方法分配到对应的编号文件中，然后得出每个文件中出现次数最多的IP，然后堆排序取得...
大数据面试题
xgc阳光的博客
09-10 494
1、海量日志数据，提取出某日访问百度次数最多的那个IP。 　　此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。 　　再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1
如何检测网络中的重复IP地址 防止ip地址冲突
10-01
重复IP地址可能会给网络管理员带来很多麻烦。如何检测出网络中的重复IP地址?如果网络中有路由器，还能检测到重复IP地址吗?答案是可以，通过一些方法比如发送ARP数据包到该IP地址，可以检测出重复IP地址
找到文件中出现次数最多的10个ip
a13602955218的博客
04-14 1302
方法1 awk {count[$1]++} END{for(i in count) print(count[i],i);} file_name | sort -nr | head -n 10 方法2 sort filename | uniq -c | sort -nr | head -n 10
从大量的IP访问记录中找到访问次数最多的IP
weixin_30808575的博客
05-23 724
1.内存不受限 一个IP有32bit（4Byte），1GB=10亿，那么在4GB内存的情况下，可以存10亿个IP。用HashMap，边存入IP边维护一个最大次数，这样遍历一遍就可以求出，时间复杂度为O(n)。 2.内存受限 假设我们有1TB的数据，但内存只有4GB，不能将数据全部读入内存做运算。 从输入流中读取1TB的数据，将IP地址按模1000运算，相同的模值IP写到同一个文件中。这样就会产生...
0.2、大文件次数统计之出现次数最多的IP
༺ bestcxx的专栏 ༻
03-06 817
文章目录100G 文件中出现次数最多的ip数？ 100G 文件中出现次数最多的ip数？ https://blog.youkuaiyun.com/qq_41011894/article/details/88538872
【面试题】100GB的文件，内存2G，如何查找出现次数最多的TOPK
iCode_girl的博客
07-12 1557
思路 把大文件拆分成小文件，然后对每个文件求topK，最后求整个的topK。
大文本文件（接近7GB）: 统计频数，Top K问题求解
a290450134的博客
04-04 439
转自 https://blog.youkuaiyun.com/qq_26437925/article/details/78531179 1 产生了一个1G行，每行一个[0，100000]区间的整数 2 top n 求解： 2.1 大文件分成小文件 把这个7G左右的大文件，按照读入数字的hashcode值分成1024个小文件(每个文件平均最大就7M左右) 2.2 小文件统计 对每个小...
统计文件中数据出现的次数并排序
后花园
09-04 4654
文件中保存的是好多行采集的数据，统计出现次数最多的前n个数据。sort排序后相同的数据会连续出现此时再使用uniq进行去重，-c的含义是添加一行出现次数的数据。awk '{print $1}' data_file | sort | uniq -c | sort -r -k1 > data_sort文件里的数据： 执行命令后：
网络模型（看这一篇就够了）
热门推荐
了解➔熟悉➔掌握➔精通
01-08 1万+
分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请轻击http://www.captainbed.net 一、OSI模型 OSI 模型（Open System Interconnection Model）是一个由国际标准化组织（ISO）提出的概念模型，试图提供一个使各种不同的计算机和网络在世界范围内实现互联的标准框架。 它将计算机网络体系结构划分为七层，每层都可以提供抽象良好的接口。了解 OSI 模型有助于理解实际上互联网络的工业标准——TCP/IP 协议。 O
统计nginx日志里访问次数最多的前十个IP
03-24
很高兴为您服务！以下是统计nginx日志中访问次数最多的前十个IP的命令： awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 10 | awk '{print $2}' 注意，此命令假设日志文件名为 access.log。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值