用hash_map统计出现次数最多的前N个URL

最新推荐文章于 2022-11-21 20:45:12 发布
原创 最新推荐文章于 2022-11-21 20:45:12 发布 · 3.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hash_map #海量数据处理 #hash_map实现词频统计 #堆排序

海量数据处理中，常用方法是将数据分散到多个小文件，分别统计词频，再进行归并。本文介绍了利用hash_map进行小文件词频统计，虽然未展示堆排序部分，但强调了hash_map与map在性能和稳定性上的权衡，hash_map在平均性能上更优，适合快速统计。

海量数据统计频率最高词汇的常规办法之一是先通过一个hash函数处理数据然后取模N，拆分为N个小文件，对每一个小文件进行词频统计和排序处理，然后归并N个小文件取频率最大的M个数。


下面程序是利用hash_map处理小文件词频的实现（堆排序部分的代码没加上，可以参见http://blog.youkuaiyun.com/wodet/article/details/16948511）

最低0.47元/天 解锁文章
大数据处理 - 分治/hash/排序
DeveloperFire的博客
02-20 363
分而治之/hash映射: 针对数据太大，内存受限，只能是: 把大文件化成(取模映射)小文件，即16字方针: 大而化小，各个击破，缩小规模，逐个解决hash_map统计: 当大文件转化了小文件，那么我们便可以采用常规的hash_map(ip，value)来进行频率统计。堆/快速排序: 统计完了之后，便进行排序(可采取堆排序)，得到次数最多的IP。
相关业务问题+系统问题+设计问题整理统计
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
04-07 171万+
业务系统及其他相关面试问题整理：线上相关问题排查+高并发系统的限流+高并发秒杀系统设计+负载均衡+一个网站有 20 亿 url 存在一个黑名单中，这个黑名单要怎么存？若此时随便输入一个 url，你如何快速判断该 url 是否在这个黑名单中？并且需在给定内存空间（比如：500M）内快速判断出？
C++遍历中删除std::hash_map元素问题
weixin_30520015的博客
05-05 276
问题：在遍历中删除std::hash_map元素时，出现服务器挂的情况。 改进前代码： //释放指定会议的socket和客户信息 it=m_ClientSocket.begin(); for(;it!=m_ClientSocket.end();it++) { if (it->second.meetingid==loginuser...
在apache的log中找出访问次数最多的N个IP。
大爱无疆的博客
08-10 1205
根据需求修改文件名和行数即可 1 awk '{print $1}' 日志文件名 |sort |uniq -c|sort -nr|head -行数 输出： 1 2 3 4 5 1234 123.456.789.0  321 11.22.33.44   56 22.33.44.
map分组后取前10个_map根据属性排序、取出map前n个
weixin_32613887的博客
01-13 3245
/*** map根据value排序* flag = 1 正序* flag = 0 倒序** @param map* @param flag* @return*/public static > LinkedHashMap sortByValue(Map map, int flag) {LinkedHashMap sortMap = new LinkedHashMap<>();if ...
哈希表之哈希集和哈希映射详解(c++)，包括hash.count()和hash.fine()的使用。
weixin_45249333的博客
11-21 4711
哈希表中的哈希集和哈希映射，包括建立哈希集，插入键，删除键，搜索键，遍历哈希集详解；和建立哈希映射，插入键值对，删除键值对，搜索键值对，遍历哈希映射详解。包括hash.count()和hash.fine()的使用
java实验2.(4)(5)HashMap,TreeMap统计字符频率
I feel lost
04-14 693
需求：通过HashMap统计poem.txt中每个字符的出现频率，要求不包含标点符号（;, .。，．；）、空格' '、回车 '\r'、换行'\n'、tab字符'\t'、数字0~9（大于'0'小于'9'）。 （1）利用for语句找出“春”, “秋”,“日”,“月”,“山”, “水”, “夜”的出现频率。 （2）通过遍历的方法把出现次数10次及以上的字显示出来。    基本思路：
从一亿个ip找出出现次数最多的IP(分治法)
阳光心态，健康人生的博客
05-21 7065
/* 1,hash散列 2,找到每个块出现次数最多的(默认出现均匀)—–&gt;可以用字典树 3,在每个块出现最多的数据中挑选出最大的为结果 */ 问题一： 怎么在海量数据中找出重复次数最多的一个 算法思想： 方案1：先做hash，然后求模映射为小文件，求出每个小文件中重复次数最多的一个，并记录重复次数。 然后找出上一步求出的数据中...
大数据面试题
xgc阳光的博客
09-10 511
1、海量日志数据，提取出某日访问百度次数最多的那个IP。 　　此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。 　　再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1
100亿个 URL 中，统计出访问频率最高的前100个，如何做？
田维常
05-20 2383
大家好，我是专门给大家分享干货的老田。另外，需要面试资料的朋友，记得后台回复面试题目 淘宝 web 服务器上有 1 个 access 日志文件，记录着用户访问的 url，url 总数 10...
如何巧用HashMap一行代码统计单词出现次数详解
08-18
主要给大家介绍了关于如何巧用HashMap一行代码统计单词出现次数的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
一篇文章彻底搞懂哈希表
vjhghjghj的博客
03-25 2086
Table of Contents 1.原理讲解 1.1散列表的概述 1.2散列表的优缺点 1.3散列表的关键问题之散列函数的构建 1.4散列表的关键问题之散列冲突的处理 1.5散列表的性能分析 2.源码实现 2.1 节点定义 2.2 迭代器​​​​​ 2.3 数据结构 3.内存管理 3.1空间配置器 3.2 构造函数 3.3插入函数insert 3.4元素地...
哈希映射解决词频
qq_63202674的博客
10-30 671
使用 Map 的时候发现好多地方是这样实例化的：new HashMap() ， 就是把Map里面的元素的类型也写进去？new HashMap()，放进去的元素默认是Object类型的， 取出来的时候的时候要向下转型，容易发生错误啊，加上泛型，编译时就能确定类型了。木得区别，还是推荐指定类型，一如楼上所说多一些约束，二是取值的时候更省事，不用显式类型转换，最重要的一点是提高代码可读性。put(key, value) - 添加元素（键值对）size() - 集合元素个数。
java词频统计
qq_67308031的博客
06-09 344
· 参看本博《经典案例【词频统计】十一种实现方式》 · 针对单词文本文件，统计每个单词出现的次数 编程实现 · 在项目根目录里创建单词文本文件 - 在建好子包再建 · 将文件行按空格拆分成单词数组 · 针对每行单词数组进行词频统计 · 按指定格式输出词频统计结果...
java 关于hashmap在统计元素出现频率的使用
little___ant的博客
08-13 375
java新手，记录利用hashmap统计元素频率。
大数据处理算法三：分而治之/hash映射 + hash统计 + 堆/快速/归并排序
生活要继续的专栏
04-29 5022
百度面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。 IP 是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的 IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即 为所求。   百度面试题2、搜
hashmap统计字符串中每个字符出现的次数
fenuang的博客
08-31 7562
package com.heima.test; import java.util.HashMap; import java.util.Map; import java.util.Scanner; import javax.swing.plaf.synth.SynthSpinnerUI; /** * @author fenuang 统计字符串中每个字符出现的次数 1,定义一个需要被统计的字符
海量数据处理策略之一—Hash映射 + Hash_map统计 + 堆/快速/归并排序
《致青春》——云梦泽
05-21 3086
海量数据处理策略之一—Hash映射 + Hash_map统计 + 堆/快速/归并排序
使用HashMap统计字符出现的次数
05-09 3840
问题描述&gt;  给定一个字符串数组，数组中内容中有重复,先打印各数组中字符出现的字数&gt;      使用hashMap来设计,hashMap的键存放字符串,值统计出现的次数import java.util.HashMap; import java.util.Map; import java.util.Map.Entry; import java.util.Set; public clas...
mapreduce hash
最新发布
01-05
- **Top N查询**：如果想要找出访问次数最多的前N个URL链接，则可以在combiner环节预先筛选部分候选集减少后续通信开销，而整体流程依旧遵循标准模型不变； - **倒排索引构建**：搜索引擎后台常需建立文档ID与...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值