redis--bitmap实现去重

本文介绍了一种使用布隆过滤器优化Redis缓存中用户首次采集判断的方法。通过将用户MAC地址进行哈希处理并映射到位图(bitmap)上,有效地解决了传统key-value方式带来的无限增长问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、问题

    最近做一个探针项目,需要判断用户是不是第一次被采集,原来直接使用redis的key-value第一次缓存,过了段时间发现这样key会无穷无尽。。

2、解决方案

    使用布隆算法实现去重,布隆算法参考:漫画:Bitmap算法 整合版


    具体实现,针对具体用户的mac做hash,hash生成的结果作为bitmap的offset,bitmap即位图,每位保存0或1,1标识已经存在

    bitmap最多可以存储2的32次方,即4294967296,完全满足当前需求

3、redis的bitmap命令

    setbit key offset 1   //设置该位置为1

    getbit key offset     //查看该位置是否存在

    bitcount key           //统计总保存数

4、部分代码

Long offset = MD5util.filterhash(probeEntity.getPhoneMac());
if(redisServiceImpl.getbit(Constants.NEW_USER_KEY,offset)){
   probe.setState(1);
}else{
   probe.setState(0);
   redisServiceImpl.addbit(Constants.NEW_USER_KEY,offset);
}

@Override
    public boolean getbit(String key, Long offset) {
        return redisTemplate.opsForValue().getBit(key,offset);
    }

    @Override
    public void addbit(String key, Long offset) {
        redisTemplate.opsForValue().setBit(key,offset,true);
    }


评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值