BitMap算法和Java的实现类BigSet

最新推荐文章于 2024-12-28 22:07:51 发布
原创 最新推荐文章于 2024-12-28 22:07:51 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#BigMap #BigSet

本文探讨了BitMap算法在处理大规模数据场景中的应用，如统计日活和部门联系客户量，以减少数据库压力。Java中的BigSet是BitMap的一种实现，它通过位操作高效存储数据。然而，当数据过于稀疏时，可能会导致遍历效率降低。此外，当数据超过int范围，可以使用多个BitSet存放。BigSet还能用于实时统计和数据排序，提供比传统方法更高的性能。

 

 

考虑下面几个应用场景：

  1. 统计每天的日活（访问量、用户数等）
  2. 统计某个部门的联系客户量
  3. 对大量数据进行排序

 

针对第一种应用场景，通常的做法就是采用明细表来记录每一个访问量，然后统计每天的用户数（用一个用户，多次访问，只算一个）。

这里有个问题，就是假设用户量比较大，假设一天有1000万的请求量，一个月就有3亿的数据量，对数据库的压力比较大。

这是我们就可以考虑采用BigMap来实现，它之间用位置代替数字，用0和1来表示这个数字是否存在，可以加大的压缩存储空间。比如说，1亿个用户一天的数据量也就 1 0000 0000bit = 11.92m，也就是说用户一天的登录信息也就产生11.92m的数据量。一个月也就357.63m的数据量。

 

Java的实现就是BigSet，下面是一段实现代码：

BitSet bm = new BitSet();

System.out.println(bm.isEmpty()+"--"+bm.size());

bm.set(0);

System.out.println(bm.isEmpty()+"--"+bm.size());

bm.set(1);

System.out.println(bm.isEmpty()+"--"+bm.size());

System.out.println(bm.get(65));

System.out.println(bm.isEmp

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度剖析Java集合之BitSet
01-24 6万+
BitSet BitSet类实现了一个按需增长的位向量,实际是由“二进制位”构成的一个Vector。每一位都是一个表示true或者false 的boolean 值。如果我们希望高效地存储这样只有两种类型的数据，就可以使用BitSet。 首先需要说明的是，BitSet并不属于集合框架，没有实现List或Map或者Set接口，BitSet更多的表示一种开关信息，对于海量不重复数据，利用索引表示数据的方式，将会大大节省空间使用。 位图 vector of bits也就是位图，由于可以用非常紧凑的格式来表示给定范
JAVA 经典400个问题
qq_43197840的博客
06-08 587
在 Java 中，数据类型可以分为两类：基本类型和引用类型。基本类型：Java 中的基本类型共 8 种，分别是：byte：字节型，占用 1 个字节。short：短整型，占用 2 个字节。int：整型，占用 4 个字节。long：长整型，占用 8 个字节。float：单精度浮点型，占用 4 个字节。double：双精度浮点型，占用 8 个字节。char：字符型，占用 2 个字节。boolean：布尔型，取值为 true 或 false，占用 1 个字节。
bitmap算法 java_【转载】Bitmap算法
weixin_39556853的博客
02-13 308
点击上方"java全栈技术"关注，每天学习一个java知识点两个月之前——为满足用户标签的统计需求，小灰利用Mysql设计了如下的表结构，每一个维度的标签都对应着Mysql表的一列：要想统计所有90后的程序员该怎么做呢？用一条求交集的SQL语句即可：Select count(distinct Name) as 用户数 from table whare age = '90后' and Occupat...
java实现bit-map算法存储大数据
专家四等BUG研发工程师
01-04 3665
前言 今天遇到一个求未排序数组中重复数的算法题，要求时间复杂度O（n），本来使用的是map实现的，但是波波说有更好的bitmap算法，并给了我他的博客链接，看完之后豁然开朗。 bitmap算法的定义 Bitmap就是用一个bit位来标记某个元素对应的Value， 而Key即是该bit的位序。由于采用了Bit为单位来存储数据，因此可以大大节省存储空间。 bitmap通过1个位表示一个状态，比如
Java 中 BitMap （位图）hutool版、IntMap、LongMap
qq_41369135的博客
05-18 4341
一、引入依赖 <dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.5.1</version> </dependency> 二、源码 BitMap （interface） package cn.hutool.bloomfilter.bitMap; pu.
java bitmap位图_简单实用算法——位图算法（BitMap）
weixin_42523907的博客
02-16 820
算法原理BitMap的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此可以大大节省存储空间。BitMap可以看成一种数据结构。假设有这样一个需求：在20亿个随机整数中找出某个数m是否存在其中，并假设32位操作系统，4G内存。在Java中，int占4字节，1字节=8位(1 byte = 8 bit)。如果每个数字用int存储，那就是...
java bitmap算法_BitMap算法详解
weixin_30856391的博客
02-19 4347
所谓的BitMap就是用一个bit位来标记某个元素所对应的value，而key即是该元素，由于BitMap使用了bit位来存储数据，因此可以大大节省存储空间。基本思想：这此我用一个简单的例子来详细介绍BitMap算法的原理。假设我们要对0-7内的5个元素(4,7,2,5,3)进行排序(这里假设元素没有重复)。我们可以使用BitMap算法达到排序目的。要表示8个数，我们需要8个byte。1.首先我们...
Java数据结构与算法资源包
- **集合框架**：Java提供的集合类，如List、Set、Map等，以及对应的实现类。 - **异常处理**：使用try-catch-finally语句处理程序中的异常情况。 - **输入输出**（I/O）：Java提供的I/O类库，用于文件读写、网络...
数据结构与算法面试题（2022最新版）
weixin_70730532的博客
08-29 467
红黑树是一种二叉查找树，但在每个结点上增加了一个存储位表示结点的颜色， 可以是RED或者BLACK。通过对任何一条从根到叶子的路径上各个着色方式的 限制，红黑树确保没有一条路径会比其他路径长出两倍，因而是接近平衡的。当二叉查找树的高度较低时，这些操作执行的比较快，但是当树的高度较高时， 这些操作的性能可能不比用链表好。红黑树（red-black tree）是一种平衡的二 叉查找树，它能保证在坏情况下，基本的动态操作集合运行时间为O(lgn)。红黑树必须要满足的五条性质：性质一：节点是红色或者是黑色；...
位图bitmap算法2
待定的专栏
12-05 662
简单的说就是用数组存放若有数据就标志为1或true，若不存在标志为0或false。比如1，2，2，5，这里最大值为5，0至5中不存0，3，4，所以： Array[0]=0，Array[1]=1，Array[2]=2，Array[3]=0，Array[4]=0，Array[5]=1 上面数中由于2有两个，所以用int存数组的值，不用boolean型，这样如果有多个同样的数字可以用值表示个数。如上
科普文：Java基础之算法系列【一文搞懂位图BitMap、及其应用】
为无为，事无事，味无味。
12-28 3004
前面我们梳理了字节和位运算，今天我们继续看看基于位运算的高效的数据结构和算法：位图、布隆过滤器、哈希切分，它们在数据处理和查询优化中发挥着重要作用‌，都是内存高效神器。 ‌一、位图（Bitmaps）‌ ‌概念‌：位图是一种使用位（bit）来表示某个元素存在与否的数据结构。它适用于海量数据、数据无重复的场景，通常用来快速判断某个数据是否存在‌。 ‌实现‌：位图的实现主要依赖于三个基本操作：set（设置位为1）、reset（重置位为0）和test（测试位是否为1）。在C++等编程语言中，可以通过vector
BitMap的java实现
djskl的专栏
10-03 1048
/** * 本文所实现的bitmap是将整型数字存储到整型数组中，主要是为了减少原始数字集合存储所占的空间 * @author djskl * */ public class BitMap { private int[] data;//BitMap private final int BITS=32;//数组中的存储单元为32位 private final int SHIFT=5;/
Java基础---BigSet
学英语的程序员
12-16 1239
BitSet是位操作的对象，值只有0或1即false和true，内部维护了一个long数组，初始只有一个long，所以BitSet最小的size是64，当随着存储的元素越来越多，BitSet内部会动态扩充，最终内部是由N个long来存储，这些针对操作都是透明的。可以看到，如果指定的bit不存在的话，返回的是false，即没有设置。wordsInUse 是检查当前的long数组中，实际使用的long的个数，即long[wordsInUse-1]是当前最后一个存储有有效bit的long。
bitmap的java原理_BitMap原理
weixin_39681486的博客
02-26 368
经常能够看到有些大厂的面试题里有一些这样的题目：一个10G的文件，里面全部是自然数，一行一个，乱序排列，对其排序。在32位机器上面完成，内存限制为 2G。首先来分析一下题目，10G的文件，只有2G内存，显然，不可能一次性把数据放入内存中直接排序。那么，还有什么其他办法呢？遍寻资料，可以发现大致有两种解决方案：1、把大文件分成多个小文件，分别排序，到最后合并成一个文件(我暂时还没搞懂这个方法，所以不...
算法学习记录——Bitmap位图算法应用（JAVA实现）
一夜笑舟的专栏
02-29 939
Bitmap--->位图算法的应用——适用于大整数的--->去重和查找 //Bitmap--->位图算法的应用——适用于大整数的——去重和查找 public class TheBitmap { //用long长整形作为存储数据的二进制位，每个占用64bit位，即可以存储64个数据（0——63），也就是每一个words[]就可以表示64个整数。 //words[0]-...
Java BitMap
qq_33766294的博客
09-18 952
Java 实现BitMap
java bitmap 包_java实现BitMap
weixin_39567222的博客
02-12 805
package bitmap;public class BitMap {private byte[] bytes;public BitMap(byte[] bytes) {super();this.bytes = bytes;}public BitMap() {super();}public BitMap(int size) {super();int number = size / 8 + 1;/...
android Bitmap类方法属性 详细说明
weixin_34235457的博客
02-26 472
（转：http://blog.youkuaiyun.com/ymangu666/article/details/37729109） 1.  BitMap类public void recycle()——回收位图占用的内存空间，把位图标记为Dead public final boolean isRecycled() ——判断位图内存是否已释放 public final int getWidth()——获取位图的...
java实现的BitMap
然然然的博客
08-22 626
java bitmap
bitmap算法实现java
最新发布
09-24
在Java中实现Bitmap算法，可参考以下步骤和示例代码。 首先，要理解Bitmap算法的基本思想，它是用位来表示元素是否存在。比如对0 - 7内的元素进行排序，可使用8个bit来表示这8个数是否存在，若元素存在则对应位置为1，不存在则为0 [^1]。 以下是一个Java实现Bitmap的示例代码： ```java public class MyBitmap { private byte[] buckets; // 构造函数，初始化Bitmap public MyBitmap(int maxNum) { this.init(maxNum); } // 初始化字节数组 private void init(int maxNum) { int maxBucketIndex = this.getBucketIndex(maxNum); this.buckets = new byte[maxBucketIndex + 1]; } // 向Bitmap中添加元素 public void add(int num) { int bucketIndex = this.getBucketIndex(num); int bitIndex = this.getBucketInnerBitIndex(num); this.buckets[bucketIndex] |= 1 << bitIndex; } // 检查元素是否存在于Bitmap中 public boolean contains(int num) { int bucketIndex = this.getBucketIndex(num); int bitIndex = this.getBucketInnerBitIndex(num); return (this.buckets[bucketIndex] & 1 << bitIndex) != 0; } // 计算元素所在的字节数组索引 private int getBucketIndex(int num) { return num >> 3; } // 计算元素在字节内的位索引 private int getBucketInnerBitIndex(int num) { return num & 0x07; } } ``` 可以使用以下方式调用这个类： ```java public class Main { public static void main(String[] args) { MyBitmap bitmap = new MyBitmap(7); int[] elements = {4, 7, 2, 5, 3}; for (int element : elements) { bitmap.add(element); } System.out.println(bitmap.contains(4)); // 输出 true System.out.println(bitmap.contains(6)); // 输出 false } } ``` 在上述代码中，`MyBitmap`类实现了基本的Bitmap功能。`init`方法用于初始化字节数组，`add`方法用于向Bitmap中添加元素，`contains`方法用于检查元素是否存在。`getBucketIndex`和`getBucketInnerBitIndex`方法分别用于计算元素所在的字节数组索引和字节内的位索引 [^3]。 此外，还可以定义一个接口来规范Bitmap的操作，示例如下： ```java interface _BitMap { void add(int num); void del(int num); void set(int num, boolean value); boolean contains(int num); } ``` 基于字节数组实现这个接口，就能实现更灵活的Bitmap操作 [^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值