redis+Lua脚本+布隆过滤器实现IP限流

布隆过滤器是什么？

布隆过滤器

在实际生产环境中，如果要实现ip限流，redis作为高速存取数据库，必然是第一首选，但是如何记录ip的访问次数和ip黑名单呢？

正常思路应该采用set集合记录ip黑名单，用k-v记录ip访问次数，但是随着数据量增多，逐个遍历ip就不太现实。

布隆过滤器的适用场景

布隆过滤器的核心思想是通过hash映射快速找到目标值，但是随着数据量增多，hash冲突就不可避免，这也是布隆过滤器的一大缺点。

布隆过滤器主要适用于IP黑名单、垃圾邮箱骚扰电话识别、防止缓存穿透

Redis中使用布隆过滤器

下载rebloom

wget https://github.com/redislabsmodules/rebloom/archive/v1.1.1.tar.gz

tar -zxvf v1.1.1.tar.gz
cd RedisBloom-1.1.1/
make 

make之后会在当前目录生成一个rebloom.so文件，接下来vim redis.conf，加上如下配置（so文件换成自己的目录，如果在docker中需要移动到挂载目录下）

################################## MODULES #####################################

# Load modules at startup. If the server is not able to load modules
# it will abort. It is possible to use multiple loadmodule directives.
loadmodule /data/rebloom.so

重启redis，测试bloom

[root@VM-12-7-centos ~]# docker exec -it redis redis-cli
127.0.0.1:6379> auth ******#redis的密码
OK
127.0.0.1:6379> bf.add users wht #向过滤器添加元素
(integer) 1
127.0.0.1:6379> bf.exists users wht #判断过滤器中是否有该元素
(integer) 1
127.0.0.1:6379> bf.exists users wht2
(integer) 0
127.0.0.1:6379> 

Springboot中使用布隆过滤器

1. 引入依赖guava依赖

   <dependency>
       <groupId>com.google.guava</groupId>
       <artifactId>guava</artifactId>
       <version>31.0.1-jre</version>
   </dependency>
   

2. 在项目中使用

   public void bloom() {
          // 第一个参数为数据类型，第二个数组长度，第三个误判率
          BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), 1000000L, 0.01);
          // 插入100w个数据
           for (int i = 1; i <= 1000000; i++) {
               bloomFilter.put(i);
           }
       	// 测试10W个不存在的数据
           for (int i = 2000000; i <= 2100000; i++) {
               boolean mightContain = bloomFilter.mightContain(i);
               if (mightContain) {
                   count = count.add(one);
               }
           }
       
   }
   

Lua脚本+Springboot实现IP限流实例

本项目案例地址：https://github.com/OutOfEastGate/TestRelease

Lua脚本：

-- 为某个接口的请求IP设置计数器，比如：127.0.0.1
-- KEYS[1] = 127.0.0.1 也就是用户的IP
-- ARGV[1] = 过期时间 30m
-- ARGV[2] = 限制的次数

-- 允许本地测试
if KEYS[1] == "127.0.0.1" then
    return true
end

-- 判断是否被拉黑(基于布隆过滤器)
local res = redis.call('bf.exists','DENY_IP',KEYS[1])

if res == 1 then
    return false
end

-- 访问次数加一
local limitCount = redis.call('incr','IP:'..KEYS[1]);

if limitCount == 1 then
    redis.call("expire",'IP:'..KEYS[1],ARGV[1])
    return true
end
-- 如果次数还没有过期，并且还在规定的次数内，说明还在请求同一接口
if limitCount > tonumber(ARGV[2]) then
-- 拉黑ip
    redis.call('bf.add','DENY_IP',KEYS[1])
    return false
end

return true

/**
 * description: 将lua脚本的内容加载出来放入到DefaultRedisScript
 *
 * @author wht
 * @createDate 2023/3/13 17:35
 */
@Configuration
public class LuaConfig {

    @Bean("ipLimitLua")
    public DefaultRedisScript<Boolean> ipLimitLua() {
        DefaultRedisScript<Boolean> defaultRedisScript = new DefaultRedisScript<>();
        defaultRedisScript.setScriptSource(new ResourceScriptSource(new ClassPathResource("lua/iplimite.lua")));
        defaultRedisScript.setResultType(Boolean.class);
        return defaultRedisScript;
    }
}

/**
 * description: ip限流
 *
 * @author wht
 * @createDate 2023/3/13 17:57
 */
@Component
public class IpLimitCheck {
    @Resource(name = "ipLimitLua")
    DefaultRedisScript<Boolean> ipLimitLua;
    @Resource
    RedisTemplate<String,String> redisTemplate;

    public Boolean ipLimitCheck(HttpServletRequest request) {
        String remoteIp = request.getRemoteHost();
        if ("0:0:0:0:0:0:0:1".equals(remoteIp)) remoteIp = "127.0.0.1";
        //ip限流，10秒5次拉黑
        Boolean isAllowed = redisTemplate.execute(ipLimitLua, Lists.newArrayList(remoteIp), 10, 5);
        if (!isAllowed) {
            throw new CustomException(ErrorCode.IP_LIMIT);
        }
        return true;
    }
}