几百G的日志文件，存放访问过的IP地址，找访问量topk，如何快速查找某个ip是否访问过（是否包含某个ip）
一，几百G的日志文件，存放访问过的IP地址，找访问量topk二，如何快速查找某个ip是否访问过（是否包含某个ip）一解，假设可用内存为1G（除去操作系统、应用程序，磁盘IO等所用），同一个IP来访次数不会超过2^32 - 1,可以考虑如下方法：1> 将1G内存分成16个缓冲区，缓冲区代表0-4G的16等分，将读入的ip按整数存放在相应的缓冲区。2> 如果某个缓冲区满，那么就将这...
原创
2019-04-24 20:38:54 ·
1686 阅读 ·
0 评论
关注
分享
扫一扫