redis--bitmap实现去重

1、问题

    最近做一个探针项目，需要判断用户是不是第一次被采集，原来直接使用redis的key-value第一次缓存，过了段时间发现这样key会无穷无尽。。

2、解决方案

    使用布隆算法实现去重，布隆算法参考：漫画：Bitmap算法 整合版

    具体实现，针对具体用户的mac做hash，hash生成的结果作为bitmap的offset，bitmap即位图，每位保存0或1，1标识已经存在

    bitmap最多可以存储2的32次方，即4294967296，完全满足当前需求

3、redis的bitmap命令

    setbit key offset 1   //设置该位置为1

    getbit key offset     //查看该位置是否存在

    bitcount key           //统计总保存数

4、部分代码

Long offset = MD5util.filterhash(probeEntity.getPhoneMac());
if(redisServiceImpl.getbit(Constants.NEW_USER_KEY,offset)){
   probe.setState(1);
}else{
   probe.setState(0);
   redisServiceImpl.addbit(Constants.NEW_USER_KEY,offset);
}

@Override
    public boolean getbit(String key, Long offset) {
        return redisTemplate.opsForValue().getBit(key,offset);
    }

    @Override
    public void addbit(String key, Long offset) {
        redisTemplate.opsForValue().setBit(key,offset,true);
    }