数据结构——bitmap和bloom filter

最新推荐文章于 2025-09-29 12:32:50 发布
原创 最新推荐文章于 2025-09-29 12:32:50 发布 · 271 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了位操作的应用，包括LeetCode上编号为338的题目“Bitcount”的解决方案，以及Bloom Filter的数据结构原理与实现。通过具体实例和代码解析，深入理解位运算在算法中的高效运用及Bloom Filter在大数据处理中的优势。
BloomFilter和BitMap的介绍与使用
程序员Forlan的博客
01-10 1257
本文介绍了BloomFilter和Bitmap两种数据结构，并对其使用场景进行了概述。同时，也讨论了它们之间的区别。
BitMap(二)：布隆过滤器(Bloom Filter)
weixin_43837229的博客
11-09 549
用一个哈希算法(Hash函数)将一个集合元素映射到一个二进制位数组（位数组）中的某一位。如果该位已经被置为1，那么表示该元素已经存在。为了减少hash冲突问题,所以引用了多个哈希函数,如果通过其中的一个Hash值得出某元素不在集合中，那么该元素肯定不在集合中。只有在所有的Hash函数告诉我们该元素在集合中时，才能确定该元素存在于集合中。这便是Bloom-Filter的基本思想。
海量数据处理：BitMap、Bloom Filter、哈希 + 统计 + 堆/归并/快排
小蜗牛的珍贵百宝箱
10-12 943
在海量数据处理的场景中，常常需要高效的数据存储和快速的数据处理方法。以下将介绍三种数据结构：BitMap 和 Bloom Filter，以及结合哈希、统计、堆、归并和快速排序等算法，以便更好地处理大规模数据集。BitMap 是一种使用位数组（bit array）来表示一组数据的高效数据结构。每个元素对应一个二进制位，通过将位设为 1 或 0 来表示该元素是否存在。Bloom Filter 是一种空间效率极高的数据结构，用于测试一个元素是否在集合中。
大量数据去重：Bitmap和布隆过滤器(Bloom Filter)
热门推荐
zdxiq000的专栏
02-27 6万+
5TB的硬盘上放满了数据，请写一个算法将这些数据进行排重。如果这些数据是一些32bit大小的数据该如何解决？如果是64bit的呢？ 在面试时遇到的问题，问题的解决方案十分典型，但对于海量数据处理接触少的同学可能一时也想不到什么好方案。介绍两个算法，对于空间的利用到达了一种极致，那就是Bitmap和布隆过滤器(Bloom Filter)。
位图（BitMap）&& 布隆过滤器（BloomFilter）
weixin_34185364的博客
05-13 261
【面试题】给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。● 在看到这个题后最先想到的方法是遍历这40亿个数，依次进行判断，但此做法需要的内存很大，大约为15G（4000000000 * 4÷（1024*1024*1024）），可见此算法不可取。● 如果内存够的话，我们可以通过位图实现，位图一个数组每个数据的每个二进制位...
高级数据结构——海量数据(位图,布隆过滤器)
weixin_52477733的博客
09-12 932
位图(bitmap),适用于存储海量,非负整数,不重复的数据.假设我们用int数组来存放数据,1GB相当于是10亿字节,那么当存储40亿整形数据时,一个整形数据占用4个字节,因此一共需要40*4/10=16G,而16G远远超过了普通电脑的内存.而用位图存储40亿整形数据时,因为1个bit来存储1个数据,因此只需要16/4/8=0.5G此次位图的介绍采用的是byte数组,因此位图中1个元素实际上能够存储的元素个数为8(1byte = 8bit)
COSMIC的后端学习之路——1.3 海量数据去重的Hash与BloomFilter（布隆过滤器），bitmap（位图）
qq_62045230的博客
10-20 1438
1.3 海量数据去重的Hash与BloomFilter（布隆过滤器），bitmap（位图）
4、Bloom Filter：高效数据过滤的利器与 robustBF 的创新应用
最新发布
postgres8guard的博客
09-29 17
本文介绍了Bloom Filter的基本原理、常见变体及其在数据过滤中的应用，重点提出了一种新型的2D Bloom Filter——robustBF。该过滤器通过改进Murmur哈希函数，在插入速度、内存占用和假阳性概率方面显著优于传统Bloom Filter（SBF）、计数Bloom Filter（CBF）和Cuckoo Filter（CF）。实验表明，robustBF在保持高速查询的同时，几乎将假阳性概率降至零，并大幅减少内存消耗，是高效数据过滤的创新解决方案。
海量数据判重——布隆过滤器（Bloom filter）
cat_want_fly的博客
10-06 663
布隆过滤器 布隆过滤器（Bloom filter）是一个高空间利用率数据结构，由Burton Bloom于1970年提出。被用于测试一个元素是否在集合中（由于集合无重复元素的性质，可用来判重）。 布隆过滤器的优势 布隆过滤器的思想类似位图，主要是由一个很长的二进制向量和若干个（k个）散列映射函数组成。因为每个元数据的存储信息值固定，而且总的二进制向量固定。所以在内存占用和查询时间上都远远超过一般的...
快速判重——布隆过滤器（Bloom Filter）
谁说大象不能跳舞
03-31 731
1.由一个很长的二进制向量和一系列随机映射函数组成 2.布隆过滤器可以用于检索一个元素是否在一个集合中 3.优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率 应用：给定数据（2，4，1，12，9，7，6）如何对它排序？ 方法1：基本的排序方法包括冒泡，快排等。 方法2：使用BitMap算法 所谓的BitMap就是用一个bit位来标记某个元素所对应的value，而key即是该元素...
Bitmap和Bloom Filiter(布隆过滤器)
weixin_43896829的博客
10-05 811
一、Bitmap Bitmap顾名思义，就是用bit来实现map的存储。 底层用map来实现对数据的存储，其使用一个bit位来标记某个元素的value,而key就是该元素。 举例： 以下的map就表示{1,2,4,6}这四个数 我们知道一个字节是8位，那如果要表示的数字超过了7，比如{12,13,15}该如何表示呢？ 其实只需要再开辟一个字节的map即可，如下图： 同理，我们可以用这种类似二维数组的表示法表示任意数字！！！ 并且，给定任意整数M，那么M/32就得到下标，M%32就知道它在此下标的哪个位置
BitMap和BloomFilter
T_tangcのblog
04-02 362
Mybitmap #include<iostream> #include<vector> using namespace std; class BitMap { public: BitMap(size_t range) { _bits.resize((range >> 3)+1,0);//(size,val) ...
Bitmap和BloomFilter
一个菜鸟的博客
06-20 1720
题目 5TB的硬盘上放满了数据，请写一个算法将这些数据进行排重。如果这些数据是一些32bit大小的数据该如何解决？如果是64bit的呢？ 1、Bitmap Bitmap又叫做位图，判断数组中的某位索引值下的位是否为1，来表示这个数是否存在。假如53存在，那么就将数组中的第53位置1。这样Bitmap极大地压缩了所需要的内存空间，并且还额外地完成了对原始大型数据的排序工作。使用位图可以大大节省...
BitMap与 Bloom Filter
RichardGeek的博客
03-30 543
　一、问题引入　　 　　bitMap是位图，其实准确的来说，翻译成基于位的映射，举一个例子，有一个无序有界int数组{1,2,5,7},初步估计占用内存4*4=16字节，这倒是没什么奇怪的，但是假如有10亿个这样的数呢？10亿*4字节/(1024*1024*1024)=3.72G左右（1GB=1024MB 、1MB=1024KB 、1KB=1024B 、1B=8b）。如果这样的一个大的数据做查找...
【数据结构】位图BitMap与布隆过滤器BloomFilter
weixin_34125592的博客
05-12 227
首先先看一下下面这个腾讯的面试题：给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。【腾讯】思路一： 最容易想到的解法就是遍历所有的40多亿个整数，然后一个一个判断。但是这个需要花费的内存是多大呢？大家可以去算一下，这里我就直接给出结果为16G，是不是需要的空间很大啊。如果面试官给出限制条件，要你使用的空...
大数据过滤及判断算法 -- Bitmap / Bloomfilter
曦轩 技术茶话小屋
09-24 1万+
今天，有个同学向我咨询大数据的一些面试题，其中一类比较有代表性比如判断是否在集合内，比如10个url，判断一个url是否在集合内，还比如有个1~100万个连续无序数字，随机取出里面的N个，求这N个数字等等。这类问题都需要一个大的数据集合，而且每个数据单元都很小，比如一个int 。很大程度上，这类问题可以用Bitmap或者Bloomfilter来做，基本思想就是开辟一块大内存，然后利用一个byte里
『 C++ - STL 』位图(BitMap)与布隆过滤器(Bloom Filter)
小侯宝的博客
02-15 1615
腾讯曾经有一道面试题是这样的: 存在40亿个不重复的无符号整数,其中这些数据并未排过序;给定一个无符号整数,如何快速判断这个数是否存在于这40亿个数中; 很显然,这个面试题问的是一个数据在不在的问题; 那么如何能够对数据进行判断在不在的问题? 遍历数据逐个判断 遍历数据逐个判断可以理解为一种暴力的解法,这种暴力的解法通过枚举的思路对数据逐个查询; 但实际上该方法的时间复杂度为O(N)[由于需要遍历整组数据]......;
bitmap和bloom filter初认识
Hard struggle
03-23 392
bitmap是很常用的数据结构，比如用于Bloom Filter中、用于无重复整数的排序等等一个数组里存储1个int，就是4个字节32位，最高位是符合位，可用的是31位，也就可以存储31个无重复整数。bitmap参考：https://www.jianshu.com/p/808706862738https://my.oschina.net/goal/blog/200347bloom filter参考...
BitMapBloomFilter
冷刀出鞘
02-08 615
BitMapBloomFilter filter = new BitMapBloomFilter(10); filter.add("123"); filter.add("abc"); filter.add("ddd"); System.out.println(filter.contains("abc"));//-true System.out.println(filter.contains("ab"));//-falae
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值