数据结构——bitmap和bloom filter

最新推荐文章于 2024-10-12 08:45:52 发布
最新推荐文章于 2024-10-12 08:45:52 发布
阅读量259 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据结构 Linux C++/Golang后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wc996789331/article/details/87278275
本文探讨了位操作的应用，包括LeetCode上编号为338的题目“Bitcount”的解决方案，以及Bloom Filter的数据结构原理与实现。通过具体实例和代码解析，深入理解位运算在算法中的高效运用及Bloom Filter在大数据处理中的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

BloomFilter和BitMap的介绍与使用
程序员Forlan的博客
01-10 1173
本文介绍了BloomFilter和Bitmap两种数据结构，并对其使用场景进行了概述。同时，也讨论了它们之间的区别。
海量数据判重——布隆过滤器（Bloom filter）与Bitmap对比
tick_tock97的博客
12-01 8911
前言 之前写过一篇Bitmap在海量整数排序中应用的博客，在看过布隆过滤器之后，感觉两个有些相似，但是又有区别，在查阅了很多资料之后，这里决定稍作总结。 关于布隆过滤器（Bloom filter）的介绍部分，大多翻译自Wikipedia 正文布隆过滤器简介 布隆过滤器（Bloom filter）是一个高空间利用率的概率性数据结构，由Burton Bloom于1970年提出。被用于测
大量数据去重：Bitmap和布隆过滤器(Bloom Filter)
热门推荐
zdxiq000的专栏
02-27 6万+
5TB的硬盘上放满了数据，请写一个算法将这些数据进行排重。如果这些数据是一些32bit大小的数据该如何解决？如果是64bit的呢？ 在面试时遇到的问题，问题的解决方案十分典型，但对于海量数据处理接触少的同学可能一时也想不到什么好方案。介绍两个算法，对于空间的利用到达了一种极致，那就是Bitmap和布隆过滤器(Bloom Filter)。
Bitmap和Bloom Filiter(布隆过滤器)
weixin_43896829的博客
10-05 780
一、Bitmap Bitmap顾名思义，就是用bit来实现map的存储。 底层用map来实现对数据的存储，其使用一个bit位来标记某个元素的value,而key就是该元素。 举例： 以下的map就表示{1,2,4,6}这四个数 我们知道一个字节是8位，那如果要表示的数字超过了7，比如{12,13,15}该如何表示呢？ 其实只需要再开辟一个字节的map即可，如下图： 同理，我们可以用这种类似二维数组的表示法表示任意数字！！！ 并且，给定任意整数M，那么M/32就得到下标，M%32就知道它在此下标的哪个位置
位图（BitMap）&& 布隆过滤器（BloomFilter）
weixin_34185364的博客
05-13 244
【面试题】给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。● 在看到这个题后最先想到的方法是遍历这40亿个数，依次进行判断，但此做法需要的内存很大，大约为15G（4000000000 * 4÷（1024*1024*1024）），可见此算法不可取。● 如果内存够的话，我们可以通过位图实现，位图一个数组每个数据的每个二进制位...
BitMap和BloomFilter
T_tangcのblog
04-02 347
Mybitmap #include<iostream> #include<vector> using namespace std; class BitMap { public: BitMap(size_t range) { _bits.resize((range >> 3)+1,0);//(size,val) ...
高级数据结构——海量数据(位图,布隆过滤器)
weixin_52477733的博客
09-12 884
位图(bitmap),适用于存储海量,非负整数,不重复的数据.假设我们用int数组来存放数据,1GB相当于是10亿字节,那么当存储40亿整形数据时,一个整形数据占用4个字节,因此一共需要40*4/10=16G,而16G远远超过了普通电脑的内存.而用位图存储40亿整形数据时,因为1个bit来存储1个数据,因此只需要16/4/8=0.5G此次位图的介绍采用的是byte数组,因此位图中1个元素实际上能够存储的元素个数为8(1byte = 8bit)
COSMIC的后端学习之路——1.3 海量数据去重的Hash与BloomFilter（布隆过滤器），bitmap（位图）
qq_62045230的博客
10-20 1245
1.3 海量数据去重的Hash与BloomFilter（布隆过滤器），bitmap（位图）
海量数据判重——布隆过滤器（Bloom filter）
cat_want_fly的博客
10-06 637
布隆过滤器 布隆过滤器（Bloom filter）是一个高空间利用率数据结构，由Burton Bloom于1970年提出。被用于测试一个元素是否在集合中（由于集合无重复元素的性质，可用来判重）。 布隆过滤器的优势 布隆过滤器的思想类似位图，主要是由一个很长的二进制向量和若干个（k个）散列映射函数组成。因为每个元数据的存储信息值固定，而且总的二进制向量固定。所以在内存占用和查询时间上都远远超过一般的...
快速判重——布隆过滤器（Bloom Filter）
谁说大象不能跳舞
03-31 706
1.由一个很长的二进制向量和一系列随机映射函数组成 2.布隆过滤器可以用于检索一个元素是否在一个集合中 3.优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率 应用：给定数据（2，4，1，12，9，7，6）如何对它排序？ 方法1：基本的排序方法包括冒泡，快排等。 方法2：使用BitMap算法 所谓的BitMap就是用一个bit位来标记某个元素所对应的value，而key即是该元素...
Bitmap和BloomFilter
一个菜鸟的博客
06-20 1629
题目 5TB的硬盘上放满了数据，请写一个算法将这些数据进行排重。如果这些数据是一些32bit大小的数据该如何解决？如果是64bit的呢？ 1、Bitmap Bitmap又叫做位图，判断数组中的某位索引值下的位是否为1，来表示这个数是否存在。假如53存在，那么就将数组中的第53位置1。这样Bitmap极大地压缩了所需要的内存空间，并且还额外地完成了对原始大型数据的排序工作。使用位图可以大大节省...
BitMap与 Bloom Filter
RichardGeek的博客
03-30 433
　一、问题引入　　 　　bitMap是位图，其实准确的来说，翻译成基于位的映射，举一个例子，有一个无序有界int数组{1,2,5,7},初步估计占用内存4*4=16字节，这倒是没什么奇怪的，但是假如有10亿个这样的数呢？10亿*4字节/(1024*1024*1024)=3.72G左右（1GB=1024MB 、1MB=1024KB 、1KB=1024B 、1B=8b）。如果这样的一个大的数据做查找...
【数据结构】位图BitMap与布隆过滤器BloomFilter
weixin_34125592的博客
05-12 206
首先先看一下下面这个腾讯的面试题：给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。【腾讯】思路一： 最容易想到的解法就是遍历所有的40多亿个整数，然后一个一个判断。但是这个需要花费的内存是多大呢？大家可以去算一下，这里我就直接给出结果为16G，是不是需要的空间很大啊。如果面试官给出限制条件，要你使用的空...
大数据过滤及判断算法 -- Bitmap / Bloomfilter
曦轩 技术茶话小屋
09-24 1万+
今天，有个同学向我咨询大数据的一些面试题，其中一类比较有代表性比如判断是否在集合内，比如10个url，判断一个url是否在集合内，还比如有个1~100万个连续无序数字，随机取出里面的N个，求这N个数字等等。这类问题都需要一个大的数据集合，而且每个数据单元都很小，比如一个int 。很大程度上，这类问题可以用Bitmap或者Bloomfilter来做，基本思想就是开辟一块大内存，然后利用一个byte里
『 C++ - STL 』位图(BitMap)与布隆过滤器(Bloom Filter)
小侯宝的博客
02-15 1500
腾讯曾经有一道面试题是这样的: 存在40亿个不重复的无符号整数,其中这些数据并未排过序;给定一个无符号整数,如何快速判断这个数是否存在于这40亿个数中; 很显然,这个面试题问的是一个数据在不在的问题; 那么如何能够对数据进行判断在不在的问题? 遍历数据逐个判断 遍历数据逐个判断可以理解为一种暴力的解法,这种暴力的解法通过枚举的思路对数据逐个查询; 但实际上该方法的时间复杂度为O(N)[由于需要遍历整组数据]......;
bitmap和bloom filter初认识
Hard struggle
03-23 372
bitmap是很常用的数据结构，比如用于Bloom Filter中、用于无重复整数的排序等等一个数组里存储1个int，就是4个字节32位，最高位是符合位，可用的是31位，也就可以存储31个无重复整数。bitmap参考：https://www.jianshu.com/p/808706862738https://my.oschina.net/goal/blog/200347bloom filter参考...
BitMap(二)：布隆过滤器(Bloom Filter)
weixin_43837229的博客
11-09 527
用一个哈希算法(Hash函数)将一个集合元素映射到一个二进制位数组（位数组）中的某一位。如果该位已经被置为1，那么表示该元素已经存在。为了减少hash冲突问题,所以引用了多个哈希函数,如果通过其中的一个Hash值得出某元素不在集合中，那么该元素肯定不在集合中。只有在所有的Hash函数告诉我们该元素在集合中时，才能确定该元素存在于集合中。这便是Bloom-Filter的基本思想。
BitMapBloomFilter
冷刀出鞘
02-08 583
BitMapBloomFilter filter = new BitMapBloomFilter(10); filter.add("123"); filter.add("abc"); filter.add("ddd"); System.out.println(filter.contains("abc"));//-true System.out.println(filter.contains("ab"));//-falae
海量数据处理：BitMap、Bloom Filter、哈希 + 统计 + 堆/归并/快排
小蜗牛的珍贵百宝箱
10-12 819
在海量数据处理的场景中，常常需要高效的数据存储和快速的数据处理方法。以下将介绍三种数据结构：BitMap 和 Bloom Filter，以及结合哈希、统计、堆、归并和快速排序等算法，以便更好地处理大规模数据集。BitMap 是一种使用位数组（bit array）来表示一组数据的高效数据结构。每个元素对应一个二进制位，通过将位设为 1 或 0 来表示该元素是否存在。Bloom Filter 是一种空间效率极高的数据结构，用于测试一个元素是否在集合中。
redis布隆过滤器和bitmap
最新发布
03-11
布隆过滤器（Bloom Filter）是一种高效的空间节约型概率数据结构，主要用于快速判断某个元素是否属于一个集合。这种特性使得其非常适合应用于需要频繁查询大量数据集成员关系的场合[^4]。 对于 Redis 来说，虽然...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值