BitMap核心思想与应用

原创

已于 2022-01-26 11:00:37 修改 · 635 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#开发语言 #后端 #java

于 2022-01-26 10:54:33 首次发布

BitMap 基本思想
- BitMap 代码实现

BitMap 基本思想

一个 int 在计算机中占 4 个字节。1 个字节占 8bit，也就是说一个 int 数字占 32bit。

而对于某些场景而言。这属于一种巨大的浪费，因为我们可以用对应的 32bit 位对应存储十进制的 0-31 个数,而这就是 BitMap 的基本思想。Bit-map 算法利用这种思想处理大量数据的排序、查询以及去重。

BitMap 代码实现

在讲代码之前我们先补充一些基础关于位运算的基础知识。基础还不错的同学可以跳过这部分。

int 在计算机中的存储方式

int t=1 那么 t 在计算机中如何存储的呢？

0000 0000 0000 0000 0000 0000 0000 0001

为什么要讲这个呢。因为在 BItMap 中涉及到关于 bit 的存储和计算。

运算符基础

左移 << ：8 << 2 = > 8*4=32

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

刘明芳

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

bitmap应用及实现（哈希表）

solar一抹阳光的专栏

07-03

2510

当实现时间复杂度优化的时候，经常会用到hash表来存储一些数据，然后

BitMap思想分析

Just Do It!

11-25

491

1.什么是bitmap 我们知道很多常见的存储结构，数组、链表、散列表等容器。那么BitMap是什么呢？我们先一起看看，再分析为什么需要bitmap。我们知道一个int占据4个字节，32个bit，比如我存储一个int数据，值为8，那么存储结构如下： 00000000 00000000 00000000 00100000 一共32位。如果我们申请一个int类型的数组，比如 new int[32],总计占用内存32*32bit，需要大量的内存空间，有没有可以优化的方法呢？现假如我们用i..

参与评论您还未登录，请先登录后发表或查看评论

【大数据处理】bitmap思想和2-Bitmap 实现

比尔丁子

04-17

1387

1. Bit-map思想给你一堆西安市的电话号码列表，数量大概在千万级，要求从中找出所有重复的电话号码，需要时间复杂度尽可能小。目前西安市的电话号码大概都以8开头，为8位，也就是类似于82678578这样子二重暴力搜索时间复杂度太高，这里我们不予考虑。容易想到的办法就是建立一个标志数组，int boolean都行，用相应的位置值来代替这个号码是否出现，根据数组的可直接存取特性，

bitmap算法应用

talk is cheap, show me the code

04-26

634

bitmap

BitMap详解及应用场景

2301_76166241的博客

08-29

1831

其实这个问题很简单，一个数字的状态只有三种，分别为不存在，只有一个，有重复。这就是我们前面所说的了，int数组中的一个元素是4字节占32位，那么除以32就知道元素的下标，对32求余数（%32）就知道它在哪一位，如果该位是1，则表示存在。要表示8个数，我们就只需要8个Bit（1Bytes），首先我们开辟1Byte的空间，将这些空间的所有Bit位都置为0，然后将对应位置为1。最后，遍历一遍Bit区域，将该位是一的位的编号输出（2，3，4，5，7），这样就达到了排序的目的，时间复杂度O(n)。

C语言-位图（BitMap）的实现与相关应用详解

qq_42037383的博客

06-25

2615

位图是一种数据结构，用于存储大量的布尔型数据（即每个数据只有两种状态：0或1）。它通过使用每一位来表示一个状态，从而节省内存空间并提高操作效率。在计算机中，最小的存储单位是字节（byte），而位图则是利用位（bit）来进行数据存储和操作。

必须了解的数据结构 BitMap 基础应用与 C语言实现

一起加油

10-29

1580

数据结构 Bitmap 的核心思想就是用连续的``bit``来标志一个可连续 ``数据`` 的有无。因为他只需要存储数据的有无(布尔值)而不是数据，所以可以大大的降低存储空间。也可以大大加快查询的速度。

高效的布隆过滤器：实现、优化与应用案例

最新发布

认真学代码的shell

05-17

818

Bitmap 是一种压缩的位图数据结构，用于表示集合中的元素。核心思想：用一个比特位（bit）表示一个元素是否存在。存储方式：每个 bit 位可以表示一个对象的状态（如存在/不存在），而多个 bit 位可以组成一个字节（byte），多个字节组成一个更大的块。用途：主要用途是高效地处理大规模数据，尤其是需要快速判断某个元素是否存在的情况。比如：一个 Bitmap 长度为 8，可以用来表示 0-7 的数字是否存在。00010100。Doris 使用 Bitmap 的主要原因是为了。

算法--bitmap算法

戎码人生

04-12

1667

这部分参考博客：http://www.cnblogs.com/huangxincheng/archive/2012/12/06/2804756.html 在所有具有性能优化的数据结构中，我想大家使用最多的就是hash表，是的，在具有定位查找上具有O(1)的常量时间，多么的简洁优美，但是在特定的场合下： ①：对10亿个不重复的整数进行排序。 ②：找出10亿个数字中重复

Bitmap简介

qq_33212378的博客

12-23

399

Bitmap简介 BitMap Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。（PS：划重点节省存储空间）假设有这样一个需求：在20亿个随机整数中找出某个数m是否存在其中，并假设32位操作系统，4G内存在Java中，int占4字节，1字节=8位（1 byte = 8 bit）如果每个数字用int存储，那就是20亿个int，因而占用的空间约为 (2000000000*4/1024/

002 bitmap海量数据的快速查找和去重

yanziguilai的专栏

08-10

5685

题目描述给你一个文件，里面包含40亿个整数，写一个算法找出该文件中不包含的一个整数，假设你有1GB内存可用。如果你只有10MB的内存呢？

生产实践中的经典算法(四)-BitMap

wat1r的博客

09-24

4207

生产时间中的经典算法(四)-BitMap 1.BitMap的原理位图（Bitmap），即位（Bit）的集合，是一种数据结构，可用于记录大量的0-1状态，在很多地方都会用到，比如Linux内核（如inode，磁盘块）、Bloom Filter算法等，其优势是可以在一个非常高的空间利用率下保存大量0-1状态。如何表达1,2,4,6存在：在相应的下标位置将其设置为1，不存在的位设置为0，进而：如何表达8,10,14存在？只需要再开一位 java中的8种基本类型的字节数： 2.BitMap一些常见应用场景

用什么算法可以快速检索数据？Bitmap了解一下

weixin_44433834的博客

07-01

446

作者：沈熠辉来源：恒生LIGHT云社区 ...

BitMap介绍与应用

Javaer

03-21

1600

本文主要介绍了BitMap与实际应用其解决问题的案例。有10亿个用户id (int类型)，判断用户是否登录？短视频平台中有十亿+用户，广告主想要精准投放流量，如何进行人群的圈选呢？

海量数据处理之 Bit-map 详细讲解

养歌的博客

01-28

2948

现在有这么一个问题：现存在 20 亿个数字，需要知道哪些数字没有出现在里面.这个问题你可能觉得一个 for 循环就能解决。但是有两个问题，第一个就是for循环效率的问题，第二个问题就是 20 亿个数字需要占据的内存空间，例如要存下 20 亿个数字需要多大空间呢？假设使用 int 存储，在 Java 中，int 占 4 字节，1 字节 = 8 位（1 byte = 8 bit，存放 20 亿个数字则需要：(2000000000*4/1024/1024/1024) ≈ 7.45G左右。面对上面的问题我们肯定不

浅谈bitmap算法

android菜鸟的专栏

10-02

349

[align=center][size=large]浅谈bitmap算法[/size][/align] 久闻《编程珠玑》一书中提出的bitmap算法之大名，只是没有深入的去研究，今天下午有兴致研究一番，才知道其中的玄机奥秘，不亚于KMP算法之巧妙，下面就由浅入深的谈谈bitmap算法。一、bitmap算法思想 32位机器上，一个整形，比如int a; 在内存中占32bi...

BitMap的原理以及运用

weixin_30813225的博客

06-09

1474

位图（Bitmap），即位（Bit）的集合，是一种数据结构，可用于记录大量的0-1状态，在很多地方都会用到，比如Linux内核（如inode，磁盘块）、Bloom Filter算法等，其优势是可以在一个非常高的空间利用率下保存大量0-1状态。 BitMap的原理 BitMap 的基本原理就是用一个bit 位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用...

海量数据下 BitMap 理解及应用场景

Forward__的博客

07-06

6154

1 .问题引入在给定的一台4G的PC机器上实现，一个包含40亿个不重复并且没有排过序的无符号的int整数，给出一个整数，找出给定的某个数 m,是否在文件40亿个数据当中的需求。需求分析:Int类型在Java中的存储占用4个Byte,32Bit,如果在内存中定义40亿个int类型数组来读取文件，占用大小:(40*100000000*4/1024/1024/1024)G=14.901G。...

BITMAP

04-02

<think>好的，用户想了解位图（Bitmap）数据结构及其应用。首先，我需要回顾一下Bitmap的基本概念。根据引用[1]，Bitmap在数据量很大但每个数据状态很少时非常有效。它的基本思想是用位来存储数据的状态，比如存在或不存在，这样可以极大节省空间。接下来，我应该解释Bitmap的结构。通常，Bitmap使用一个位数组，每个位对应一个数据元素。例如，如果处理数字0到7，可以用一个字节（8位）来表示，每个位的位置对应数字是否存在。引用[2]提到，使用long数组作为底层结构可以提高存储效率和访问速度，这可能是为了处理大规模数据时的效率优化。然后需要说明Bitmap的操作，比如设置位、清除位和查询位。这些操作涉及位运算，如与、或、移位等，具体实现可能需要根据不同的编程语言来调整。例如，在Java中，BitSet类就是基于long数组实现的，这符合引用[2]中的描述。关于应用场景，用户可能想知道Bitmap的实际用途。引用[1]和[2]都提到排序，位图排序适用于无重复整数且范围较小的情况。此外，去重和判重也是常见用途，比如在URL去重或用户签到统计中。用户可能还想到了其他应用，比如布隆过滤器，但这里需要聚焦Bitmap本身。还需要考虑优缺点。优点是空间效率高，操作速度快；缺点是不适合数据范围大或非整数的情况。这时候可能需要扩展，比如使用哈希函数将数据映射到位图，但这样可能有冲突问题。用户的问题可能还隐含着如何实现位图，所以给出一个简单的代码示例会更好。例如，用Python的位数组或整数模拟位图的基本操作，这样用户能直观理解。最后，生成的相关问题需要覆盖原理、实现、应用场景以及与其他数据结构的对比，这样用户能全面了解。同时，确保引用正确，引用[1]和[2]分别对应位图的原理和应用，尤其是排序部分。总结下来，回答的结构应该是：定义、原理、实现、操作、应用、优缺点，然后相关问题。需要保持语言简洁，用例子帮助理解，并正确引用资料。</think>### 位图（Bitmap）数据结构与应用 #### 一、基本概念与原理位图（Bitmap）是一种通过二进制位（0/1）表示数据状态的高效数据结构。其核心思想是**用位的值（0或1）标记对应元素是否存在或满足特定条件**，适用于**数据范围大但状态简单**的场景[^1]。例如，用1个位表示整数是否存在，可节省传统数组的存储空间。 #### 二、数据结构实现 1. **底层存储** 位图通常使用**数组（如整型数组或长整型数组）** 作为容器，例如Java的`BitSet`采用`long[]`存储。每个数组元素可表示多个位（如1个`long`类型变量可表示64位）[^2]。 - **优点**：空间复杂度为$O(n/k)$（$k$为单个数组元素的位数），远低于传统数组的$O(n)$。 - **示例**：存储0~7的整数是否存在，可用1字节（8位）表示： ``` byte = 0b00101101 // 表示数字0、2、3、5存在 ``` 2. **位操作** - **设置位**：`位索引i → 定位到数组的第 (i/64) 个元素 → 将第 (i%64) 位设为1` - **查询位**：`检查对应位的值是否为1` - **清除位**：`将对应位设为0` #### 三、典型应用场景 1. **快速去重与判重** - 对海量无重复整数进行排序（位图排序），时间复杂度$O(n)$。 - 示例：对数字集合{3,1,5,0}排序，只需遍历位图并输出值为1的索引： ``` 位图: 0b00101101 → 输出0,1,2,3,5 ``` 2. **布隆过滤器（Bloom Filter）** 位图是布隆过滤器的底层实现之一，通过多个哈希函数映射位图位置，支持高效**存在性检测**（可能误判但绝不漏判）。 3. **用户行为统计** - 统计用户每日签到情况（1位表示1天是否签到）。 - 标记系统资源（如内存页）是否被占用。 #### 四、优缺点分析 | **优点** | **缺点** | |------------------------------|------------------------------| | 空间效率极高（1位存1个状态） | 仅适用于整数或可哈希为整数的数据 | | 位操作速度快（CPU指令优化） | 数据范围过大时仍可能占用较多空间 | | 支持批量操作（如按位与/或） | 无法处理重复数据 | #### 五、简单代码实现（Python示例） ```python class Bitmap: def __init__(self, max_num): self.size = (max_num // 64) + 1 self.array = [0] * self.size def set_bit(self, num): index = num // 64 offset = num % 64 self.array[index] |= (1 << offset) def get_bit(self, num): index = num // 64 offset = num % 64 return (self.array[index] & (1 << offset)) != 0 # 示例：存储数字5和10 bitmap = Bitmap(100) bitmap.set_bit(5) print(bitmap.get_bit(5)) # 输出True print(bitmap.get_bit(10)) # 输出False ```