bitmap计数，求TopK最快的方法？

最新推荐文章于 2024-06-21 21:17:00 发布
原创 最新推荐文章于 2024-06-21 21:17:00 发布 · 1.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了使用比特位图法解决TopK问题，通过空间换时间的策略实现O(n)的时间复杂度。在内存允许的情况下，通过对集合元素创建计数的比特位图，可以有效地找到最大的k个元素。对于有重复元素的情况，比特位图计数能准确记录每个元素的出现次数，从而提高求解效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

《TopK到底怎么答？》介绍了TopK的四种解法，其中随机选择 (randomized select) 最为经典，用减治法 (Reduce & Conquer) 的思想，将数据规模急速降低，总体复杂度为O(n)。


结尾挖了一个坑：求TopK，有没有比随机选择更快的方法呢？


空间换时间，是算法优化中最常见的手段，如果有相对充裕的内存，可以有更快的算法。

画外音：即使内存不够，也可以水平切分，使用分段的方法来操作，减少每次内存使用量。


TopK问题描述

最低0.47元/天 解锁文章

200万优质内容无限畅学
BitMap算法总结-java版
许诗宇的博客
05-06 2718
目录 简介 基本思想 为什么要有BitMap BitMap的映射 求十进制数对应在数组a中的下标 求十进制数对应数组元素a[i]在0-31中的位m 使得对应第m个bit位为1 使得对应第m个bit位为0 java实现 内部元素 加入 查找 删除 展示 测试 完整代码 复杂度 时间 空间 算法评价 优点 缺点 应用 BloomFilter和BItMap...
计数排序（BitMap实现）
小梦馆
07-15 1347
计数排序： 计数排序假设n个输入元素中的每一个都是介于0到k之间的整数，对每一个输入元素x，确定出小于x的元素的个数，就可以把x直接放到最终输出数组的位置上。例如有17个元素小于x，那么x位于第18个输出位置。而当有几个元素相同时，方案需要修改，不能把他们放在同一个输出位置上。也就是说，计数排序比较适合元素之间没有重复的情况。 就时间效率来看，计数排序几乎是只需要扫描一遍数组就可以将数
bitmap计数，求TopK最快的方法
HelloWorld搬运工
10-04 2610
上篇介绍了TopK的四种解法，其中随机选择(randomized select)最为经典，用减治法(Reduce & Conquer)的思想，将数据规模急速降低，总体复杂度为O(n)。 结尾挖了一个坑：求TopK，有没有比随机选择更快的方法呢？ 空间换时间，是算法优化中最常见的手段，如果有相对充裕的内存，可以有更快的算法。 画外音：即使内存不够，也可以水平切分，使...
求 TOPK 的三种方法及分析
panyyer
07-29 4697
从八大排序来说，适合求 topk 的排序有：冒泡、堆排、快排（有部分人觉得用快排左比较好，但是我不这么认为，利用快排思想求第K大是最好的，但是不太适合求前K大）冒泡（n*k）：对于冒泡来说，求前k个数，只需要遍历k次即可，因此算法上有性能的提升堆排（nlogk）：构造一个大小为 k 的堆，求前 k 大就构造最小堆（构造完之后，最小值如果小于当前值，则覆盖然后再调整一次堆），最前 k 小就构造最大堆（
BitMap 实现签到与统计功能
weixin_45817985的博客
10-08 289
BitMap
大数据Top K 总结
许诗宇的博客
06-17 2087
目录 TOP k 问题 1亿个数字中找出最大或最小的前100个数字 方法1：全部排序 方法2：局部淘汰法 插入容器后的操作 局部淘汰法的去重 方法3：分治法 分治-快排划分 分治-排序 分治-堆排序 合并结果 方法4：Hash法 BitMap 计数排序 方法5：最小堆 实际场景 （1）单机+单核+足够大内存 （2）单机+多核+足够大内存 （3）单机+单核+受限内存 （4）多机+受限内存 Hadoop TOP k 问题 在大规模数据处理中，经常会遇到的一类问题：在
TopK问题
ThreeAspects的博客
12-03 1151
海量数据中寻找TopK问题Top K问题介绍Top K问题举例及解答 Top K问题介绍   所谓的Top K问题：在海量数据中找出出现频率最好的前K个数，或者从海量数据中找出最大的前K个数。例如，在搜索引擎中，统计搜索最热门的10个查询词/在歌曲库中统计下载最高的前10首歌等。针对Top K问题，通常方案是分治+Trie树/Hash+小顶堆，即先将数据集按照Hash方法分解成多个小数据集，然后使...
谈谈fresco的bitmap内存分配
chiefhsing的专栏
12-29 5731
bitmap的内存分配主要有两个含义： 应用程序实现时针对bitmap的内存缓存；从原始数据（byte[]）经过decode生成bitmap过程中的内存分配问题； 其中第一个含义，在Fresco中实现对应的就是interface MemoryCache，这里略有提及，不会大费章节，主要关注decode过程中的内存分配问题。
bitmap对海量无重复的整数排序
Sunshine的专栏
07-19 4830
现在有n个无重复的正整数（n 小于10的7次方），如果内存限制在1.5M以内，要求对着n个数进行排序。【编程珠玑第一章题目】        很显然，10的7次方个整数占用的空间为10 ^ 7 * 4字节，大约等于40M，而内存限制为1.5M，因此，无法将所有数字加载到内存，所以快速排序、堆排序等高效的排序算法就没法使用。这里可以使用bitmap方式，用1bit表示一个整数，那么，10^7个整数需
[海量数据处理]用2-Bitmap找出数组中不重复的整数
静湖微风
08-19 4778
题目来自: http://blog.youkuaiyun.com/v_july_v/article/details/6685962 5. 在2.5亿个整数中找出不重复的整数，内存不足以容纳这2.5亿个整数。 #include #include //用char数组存储2-Bitmap,不用
Top K算法
karute的博客
04-11 2963
Top K问题：顾名思义，就是给你多个数，让你找出最大的或者最小的K个数。 分析：通常情况下，数量级都是千万级别的，数据量特别大，所以肯定不能先排序，然后再遍历取出K个数。 我们以求出最小的K个数为例进行分析。既然一个大顶堆的顶是最大的元素，那我们要找最小的K个元素，可以先建立一个包含K个元素的大顶堆，然后遍历集合，如果集合的元素比堆顶元素小（说明它目前应该在K个最小之列），那就用该元素来替换...
海量数据处理——bitMap/BloomFilter、hash + 统计 + 堆/归并/快排
最新发布
strive_mianyang的博客
06-21 3092
海量数据处理相关题目
快速排序及TOP K问题
cy413026的博客
06-13 2039
1.介绍1 https://www.cnblogs.com/itxiaok/archive/2019/02/15/10385676.html 前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。 先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所.
算法基础：海量数据处理——TopN问题
ReturnTmp的博客
06-09 1736
算法基础：海量数据处理——TopN问题
海量数据解题之道：Bitmap
patkritLee的博客
08-08 2144
1.概述 本文将讲述Bit Map算法的相关原理，以及一些利用场景，例如BitMap解决海量数据寻找重复、判断个别元素是否在海量数据当中等问题。 最后说说BitMap的特点以及在各个场景的使用特性。 2.算法 题目：32位整数中有40亿个不重复的整数，给定一个整数，确定是否在40亿个中出现。PC内存为2G 思考：40亿个int大约占 (40*10^9*4)/1024/1024/102
002 bitmap海量数据的快速查找和去重
yanziguilai的专栏
08-10 5690
题目描述 给你一个文件，里面包含40亿个整数，写一个算法找出该文件中不包含的一个整数， 假设你有1GB内存可用。 如果你只有10MB的内存呢？
大数据下的TopK算法
MathThinker的博客
05-27 6820
在大数据背景下，TopK问题是一个很常见的问题。常见到这类问题基本在任何从事大数据相关的工作中都会用到。而我以前面试和大数据相关的岗位时也基本每次都会被问及这一问题或者这一问题的简单变种。因此，写本文详细介绍一下在大数据背景下TopK问题的解决方法，供大伙学习学习，尤其是让即将面临找工作面试的同学在面对这类问题时心里有个底。 该问题的求解目标很简单，即从一堆数据中挑出...
海量数据解决思路之BitMap
weixin_33946605的博客
02-25 305
一、概述   本文将讲述Bit-Map算法的相关原理,Bit-Map算法的一些利用场景，例如BitMap解决海量数据寻找重复、判断个别元素是否在海量数据当中等问题.最后说说BitMap的特点已经在各个场景的使用性。 二、Bit-Map算法 先看看这样的一个场景：给一台普通PC，2G内存，要求处理一个包含40亿个不重复并且没有排过序的无符号的int整数，给出一个整数，问如果快速地判断这个整数是...
Bitmap 海量数据处理
ywok526的专栏
08-28 954
Bitmap： 说明：采用一个bit来标记某个value，可以大大节省存储空间。 优点是占用内存少，比如N为一亿（10000 0000），只需要N/8=1250 0000个byte，约等于12Mb。缺点为不能重复数据进行排序和查找   思想：利用一个byte中的8个bit来表示8个数。某数出现，利用映射将对应bit位置1。 比如元素3，在8bit的映射为 再来个元素5，在8
VC环境下Bitmap到Byte[]的转换方法
1. 加载Bitmap文件：使用GDI+的API，例如`Image::FromFile`方法来加载一个Bitmap文件到内存中。这一步骤需要引入GDI+库，并初始化GDI+环境。 2. 锁定位图数据：通过GDI+提供的接口，可以锁定位图的内存，这样可以...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值