redis--bitmap实现去重

最新推荐文章于 2025-10-28 19:26:48 发布

原创最新推荐文章于 2025-10-28 19:26:48 发布 · 5.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#bitmap #布隆算法去重

缓存学习专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一种使用布隆过滤器优化Redis缓存中用户首次采集判断的方法。通过将用户MAC地址进行哈希处理并映射到位图(bitmap)上，有效地解决了传统key-value方式带来的无限增长问题。

1、问题

最近做一个探针项目，需要判断用户是不是第一次被采集，原来直接使用redis的key-value第一次缓存，过了段时间发现这样key会无穷无尽。。

2、解决方案

使用布隆算法实现去重，布隆算法参考：漫画：Bitmap算法整合版

具体实现，针对具体用户的mac做hash，hash生成的结果作为bitmap的offset，bitmap即位图，每位保存0或1，1标识已经存在

bitmap最多可以存储2的32次方，即4294967296，完全满足当前需求

3、redis的bitmap命令

setbit key offset 1 //设置该位置为1

getbit key offset //查看该位置是否存在

bitcount key //统计总保存数

4、部分代码

Long offset = MD5util.filterhash(probeEntity.getPhoneMac());
if(redisServiceImpl.getbit(Constants.NEW_USER_KEY,offset)){
   probe.setState(1);
}else{
   probe.setState(0);
   redisServiceImpl.addbit(Constants.NEW_USER_KEY,offset);
}

@Override
    public boolean getbit(String key, Long offset) {
        return redisTemplate.opsForValue().getBit(key,offset);
    }

    @Override
    public void addbit(String key, Long offset) {
        redisTemplate.opsForValue().setBit(key,offset,true);
    }