SpringBoot(18）---通过Lua脚本批量插入数据到Redis布隆过滤器

最新推荐文章于 2024-02-01 15:02:13 发布

原创

最新推荐文章于 2024-02-01 15:02:13 发布 · 487 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#分布式 #redis #java #python #大数据

本文介绍了SpringBoot项目中使用Redis布隆过滤器进行数据存在的判断，对比了List、Map和Google布隆过滤器的性能，探讨了不同数据量场景下的适用方案。通过Lua脚本实现批量插入，分析了Redis服务器搭建和脚本执行过程，并提供了测试结果。

在实际开发过程中经常会做的一步操作，就是判断当前的key是否存在。

那这篇博客主要分为三部分：

1、几种方式判断当前key是否存在的性能进行比较。
2、Redis实现布隆过滤器并批量插入数据,并判断当前key值是否存在。
3、针对以上做一个总结。

一、性能对比

主要对以下方法进行性能测试比较：

1、List的 contains 方法

2、Map的 containsKey 方法

3、Google布隆过滤器 mightContain 方法

前提准备

在SpringBoot项目启动的时候，向 List集合、Map集合、Google布隆过滤器 分布存储500万条，长度为32位的String字符串。

1、演示代码

@Slf4j
@RestController
public class PerformanceController {

    /**
     * 存储500万条数据
     */
    public static final int SIZE = 5000000;
    /**
     * list集合存储数据
     */
    public static List<String> list = Lists.newArrayListWithCapacity(SIZE);
    /**
     * map集合存储数据
     */
    public static Map<String, Integer> map = Maps.newHashMapWithExpectedSize(SIZE);
    /**
     * guava 布隆过滤器
     */
    BloomFilter<String> bloomFilter = BloomFilter.create(Funnels.unencodedCharsFunnel(), SIZE);
    /**
     * 用来校验的集合
     */
    public static List<String> exist = Lists.newArrayList();
    /**
     * 计时工具类
     */
    public static Stopwatch stopwatch = Stopwatch.createUnstarted();

    /**
     * 初始化数据
     */
    @PostConstruct
    public void insertData() {
        for (int i = 0; i < SIZE; i++) {
            String data = UUID.randomUUID().toString();
            data = data.replace("-", "");
            //1、存入list
            list.add(data);
            //2、存入map
           map.put(data, 0);

最低0.47元/天解锁文章