缓存七坑,你踩过吗?

海量数据去重神器——布隆过滤器 1.前言 大数据处理过程中,常常遇到去重的需求。 例如,头条推荐系统要求对每个用户都不会出现重复推荐。 传统的做法是,将所有的记录都采用类似HashSet的结构缓存起来,当需要判断新的数据是否重复时,通过集合的contains方法判断。 当数据量达到亿级时,这种方法消耗的内存,以及计算的速度都是不可接受的。 比如,对于头条推荐系统,假设注册用户为100万,平均每个用户每月推荐1000篇文... 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

5378eb1f64925d8548d78251ac3e05b8.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、CRM 等等功能:

  • Boot 仓库:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 仓库:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK 21 + SpringBoot 3.2.2、JDK 8 + Spring Boot 2.7.18 双版本 

来源:苏三说技术


前言

缓存在我们日常工作中,经常会使用,但如果用不好坑也挺多的。

这篇文章总结了我工作中使用缓存遇到过的7个坑,还是非常有参考价值得,希望对你会有所帮助。

6c47e9620dab2d1244a4c644854cb614.png

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

1 缓存穿透

大部分情况下,加缓存的目的是:为了减轻数据库的压力,提升系统的性能。

一般情况下,如果有用户请求过来,先查缓存,如果缓存中存在数据,则直接返回。

如果缓存中不存在,则再查数据库,如果数据库中存在,则将数据放入缓存,然后返回。如果数据库中也不存在,则直接返回失败。

流程图如下:9bfbea8c2c31ec641d52462a60284bff.png

但如果出现以下这两种特殊情况,比如:

  • 用户请求的id在缓存中不存在。

  • 恶意用户伪造不存在的id发起请求。

这样的用户请求导致的结果是:每次从缓存中都查不到数据,而需要查询数据库,同时数据库中也没有查到该数据,也没法放入缓存。

也就是说,每次这个用户请求过来的时候,都要查询一次数据库。

4844fd54840267d8f858ffec3aa74bec.png

图中标红的箭头表示每次走的路线。

很显然,缓存根本没起作用,好像被穿透了一样,每次都会去访问数据库。

这就是我们所说的:缓存穿透问题。

如果此时穿透了缓存,而直接数据库的请求数量非常多,数据库可能因为扛不住压力而挂掉。呜呜呜。

那么问题来了,如何解决这个问题呢?

1.1 校验参数

我们可以对用户id做检验。

比如你的合法id是15xxxxxx,以15开头的。如果用户传入了16开头的id,比如:16232323,则参数校验失败,直接把相关请求拦截掉。这样可以过滤掉一部分恶意伪造的用户id。

1.2 使用布隆过滤器

如果数据比较少,我们可以把数据库中的数据,全部放到内存的一个map中。

这样能够非常快速的识别,数据在缓存中是否存在。如果存在,则让其访问缓存。如果不存在,则直接拒绝该请求。

但如果数据量太多了,有数千万或者上亿的数据,全都放到内存中,很显然会占用太多的内存空间。

那么,有没有办法减少内存空间呢?

答:这就需要使用布隆过滤器了。

布隆过滤器底层使用bit数组存储数据,该数组中的元素默认值是0。

布隆过滤器第一次初始化的时候,会把数据库中所有已存在的key,经过一些列的hash算法(比如:三次hash算法)计算,每个key都会计算出多个位置,然后把这些位置上的元素值设置成1。

086fbff583bdfc3e4152df4e7e65c066.png

之后,有用户key请求过来的时候,再用相同的hash算法计算位置。

  • 如果多个位置中的元素值都是1,则说明该key在数据库中已存在。这时允许继续往后面操作。

  • 如果有1个以上的位置上的元素值是0,则说明该key在数据库中不存在。这时可以拒绝该请求,而直接返回。

1.3 缓存空值

上面使用布隆过滤器,虽说可以过滤掉很多不存在的用户id请求。但它除了增加系统的复杂度之外,会带来两个问题:

  • 布隆过滤器存在误杀的情况,可能会把少部分正常用户的请求也过滤了。

  • 如果用户信息有变化,需要实时同步到布隆过滤器,不然会有问题。

所以,通常情况下,我们很少用布隆过滤器解决缓存穿透问题。其实,还有另外一种更简单的方案,即:缓存空值。

当某个用户id在缓存中查不到,在数据库中也查不到时,也需要将该用户id缓存起来,只不过值是空的。

这样后面的请求,再拿相同的用户id发起请求时,就能从缓存中获取空数据,直接返回了,而无需再去查一次数据库。

优化之后的流程图如下:2aa1644dfb910ad22c8a8505aed2baf9.png关键点是不管从数据库有没有查到数据,都将结果放入缓存中,只是如果没有查到数据,缓存中的值是空的罢了。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

2 缓存击穿

有时候,我们在访问热点数据时。比如:我们在某个商城购买某个热门商品。

为了保证访问速度,通常情况下,商城系统会把商品信息放到缓存中。但如果某个时刻,该商品到了过期时间失效了。

此时,如果有大量的用户请求同一个商品,但该商品在缓存中失效了,一下子这些用户请求都直接怼到数据库,可能会造成瞬间数据库压力过大,而直接挂掉。

流程图如下:

928db7b3ca127c3f7c202b9fa2e9db9d.png

那么,如何解决这个问题呢?

2.1 加锁

数据库压力过大的根源是,因为同一时刻太多的请求访问了数据库。

如果我们能够限制,同一时刻只有一个请求才能访问某个productId的数据库商品信息,不就能解决问题了?

答:没错,我们可以用加锁的方式,实现上面的功能。

伪代码如下:

try {
  String result = jedis.set(productId, requestId, "NX", "PX", expireTime);
  if ("OK".equals(result)) {
    return queryProductFromDbById(productId);
  }
} finally{
    unlock(productId,requestId);
}  
return null;

在访问数据库时加锁,防止多个相同productId的请求同时访问数据库。

然后,还需要一段代码,把从数据库中查询到的结果,又重新放入缓存中。办法挺多的,在这里我就不展开了。

2.2 自动续期

出现缓存击穿问题是由于key过期了导致的。那么,我们换一种思路,在key快要过期之前,就自动给它续期,不就OK了?

答:没错,我们可以用job给指定key自动续期。

比如说,我们有个分类功能,设置的缓存过期时间是30分钟。但有个job每隔20分钟执行一次,自动更新缓存,重新设置过期时间为30分钟。7d77243607f292c42d9d12bafc0df600.png这样就能保证,分类缓存不会失效。

2.3 永久有效

此外,对于很多热门key,其实是可以不用设置过期时间,让其永久有效的。

比如参与秒杀活动的热门商品,由于这类商品id并不多,在缓存中我们可以不设置过期时间。

在秒杀活动开始前,我们先用一个程序提前从数据库中查询出商品的数据,然后同步到缓存中,提前做预热。

等秒杀活动结束一段时间之后,我们再手动删除这些无用的缓存即可。

3 缓存雪崩

而缓存雪崩是缓存击穿的升级版,缓存击穿说的是某一个热门key失效了,而缓存雪崩说的是有多个热门key同时失效。

看起来,如果发生缓存雪崩,问题更严重。

缓存雪崩目前有两种:

  • 有大量的热门缓存,同时失效。会导致大量的请求,访问数据库。而数据库很有可能因为扛不住压力,而直接挂掉。

  • 缓存服务器down机了,可能是机器硬件问题,或者机房网络问题。总之,造成了整个缓存的不可用。

归根结底都是有大量的请求,透过缓存,而直接访问数据库了。a7528b0854a03303aaaf48e383edbd02.png

那么,要如何解决这个问题呢?

3.1 过期时间加随机数

为了解决缓存雪崩问题,我们首先要尽量避免缓存同时失效的情况发生。

这就要求我们不要设置相同的过期时间。

可以在设置的过期时间基础上,再加个1~60秒的随机数。

实际过期时间 = 过期时间 + 1~60秒的随机数

这样即使在高并发的情况下,多个请求同时设置过期时间,由于有随机数的存在,也不会出现太多相同的过期key。

3.2 保证高可用

针对缓存服务器down机的情况,在前期做系统设计时,可以做一些高可用架构。

比如:如果使用了redis,可以使用哨兵模式,或者集群模式,避免出现单节点故障导致整个redis服务不可用的情况。b48fe70ba5517438d8eb5b918933ed74.png

使用哨兵模式之后,当某个master服务下线时,自动将该master下的某个slave服务升级为master服务,替代已下线的master服务继续处理请求。

3.3 服务降级

如果做了高可用架构,redis服务还是挂了,该怎么办呢?

这时候,就需要做服务降级了。

我们需要配置一些默认的兜底数据。

程序中有个全局开关,比如有10个请求在最近一分钟内,从redis中获取数据失败,则全局开关打开。后面的新请求,就直接从配置中心中获取默认的数据。

当然,还需要有个job,每隔一定时间去从redis中获取数据,如果在最近一分钟内可以获取到两次数据(这个参数可以自己定),则把全局开关关闭。后面来的请求,又可以正常从redis中获取数据了。

需要特别说一句,该方案并非所有的场景都适用,需要根据实际业务场景决定。

4 数据不一致

数据库和缓存(比如:redis)双写数据一致性问题,是一个跟开发语言无关的公共问题。尤其在高并发的场景下,这个问题变得更加严重。

那么,我们该如何更新缓存呢?

目前有以下4种方案:

  • 先写缓存,再写数据库

  • 先写数据库,再写缓存

  • 先删缓存,再写数据库

  • 先写数据库,再删缓存

4.1 先写缓存,再写数据库

对于更新缓存的方案,很多人第一个想到的可能是在写操作中直接更新缓存(写缓存),更直接明了。

那么,问题来了:在写操作中,到底是先写缓存,还是先写数据库呢?

我们在这里先聊聊先写缓存,再写数据库的情况,因为它的问题最严重。

某一个用户的每一次写操作,如果刚写完缓存,突然网络出现了异常,导致写数据库失败了。

a71e7db614ca4c6cd7c0ec005a4568f1.png

其结果是缓存更新成了最新数据,但数据库没有,这样缓存中的数据不就变成脏数据了?如果此时该用户的查询请求,正好读取到该数据,就会出现问题,因为该数据在数据库中根本不存在,这个问题非常严重。

我们都知道,缓存的主要目的是把数据库的数据临时保存在内存,便于后续的查询,提升查询速度。

但如果某条数据,在数据库中都不存在,你缓存这种“假数据”又有啥意义呢?

因此,先写缓存,再写数据库的方案是不可取的,在实际工作中用得不多。

4.2 先写数据库,再写缓存

既然上面的方案行不通,接下来,聊聊先写数据库,再写缓存的方案,该方案在低并发编程中有人在用(我猜的)。

用户的写操作,先写数据库,再写缓存,可以避免之前“假数据”的问题。但它却带来了新的问题。

什么问题呢?

4.2.1 写缓存失败了

如果把写数据库和写缓存操作,放在同一个事务当中,当写缓存失败了,我们可以把写入数据库的数据进行回滚。

7f5a49aa51b8c37959502066c5da0922.png

如果是并发量比较小,对接口性能要求不太高的系统,可以这么玩。

但如果在高并发的业务场景中,写数据库和写缓存,都属于远程操作。为了防止出现大事务,造成的死锁问题,通常建议写数据库和写缓存不要放在同一个事务中。

也就是说在该方案中,如果写数据库成功了,但写缓存失败了,数据库中已写入的数据不会回滚。

这就会出现:数据库是新数据,而缓存是旧数据,两边数据不一致的情况。

4.2.2 高并发下的问题

假设在高并发的场景中,针对同一个用户的同一条数据,有两个写数据请求:a和b,它们同时请求到业务系统。

在这个过程当中,可能会出现请求b在缓存中的新数据,被请求a的旧数据覆盖了。

也就是说:在高并发场景中,如果多个线程同时执行先写数据库,再写缓存的操作,可能会出现数据库是新值,而缓存中是旧值,两边数据不一致的情况。

4.2.3 浪费系统资源

该方案还有一个比较大的问题就是:每个写操作,写完数据库,会马上写缓存,比较浪费系统资源。

为什么这么说呢?

你可以试想一下,如果写的缓存,并不是简单的数据内容,而是要经过非常复杂的计算得出的最终结果。这样每写一次缓存,都需要经过一次非常复杂的计算,不是非常浪费系统资源吗?

尤其是cpu和内存资源。

还有些业务场景比较特殊:写多读少。

如果在这类业务场景中,每个用的写操作,都需要写一次缓存,有点得不偿失。

由此可见,在高并发的场景中,先写数据库,再写缓存,这套方案问题挺多的,也不太建议使用。

4.3 先删缓存,再写数据库

说白了,在用户的写操作中,先执行删除缓存操作,再去写数据库。这套方案,可以是可以,但也会有一样问题。

4.3.1 高并发下的问题

假设在高并发的场景中,同一个用户的同一条数据,有一个读数据请求c,还有另一个写数据请求d(一个更新操作),同时请求到业务系统。

在这个过程当中,有可能会出现请求d的新值,并没有被请求c写入缓存,同样会导致缓存和数据库的数据不一致的情况。

4.4 先写数据库,再删缓存

在高并发的场景中,有一个读数据请求f,有一个写数据请求e。

在高并发的场景中,有一个读数据请求,有一个写数据请求,更新过程如下:

请求e先写数据库,由于网络原因卡顿了一下,没有来得及删除缓存。请求f查询缓存,发现缓存中有数据,直接返回该数据。请求e删除缓存。在这个过程中,只有请求f读了一次旧数据,后来旧数据被请求e及时删除了,看起来问题不大。

但如果是读数据请求先过来呢?

  • 请求f查询缓存,发现缓存中有数据,直接返回该数据。

  • 请求e先写数据库。

  • 请求e删除缓存。

这种情况看起来也没问题呀?

答:对的。

但就怕出现下面这种情况,即缓存自己失效了。如下图所示:077fba31bce4af11f62ef4b674d35ae6.png

  • 缓存过期时间到了,自动失效。

  • 请求f查询缓存,发缓存中没有数据,查询数据库的旧值,但由于网络原因卡顿了,没有来得及更新缓存。

  • 请求e先写数据库,接着删除了缓存。

  • 请求f更新旧值到缓存中。

这时,缓存和数据库的数据同样出现不一致的情况了。

但这种情况还是比较少的,需要同时满足以下条件才可以:

  • 缓存刚好自动失效。

  • 请求f从数据库查出旧值,更新缓存的耗时,比请求e写数据库,并且删除缓存的还长。

我们都知道查询数据库的速度,一般比写数据库要快,更何况写完数据库,还要删除缓存。所以绝大多数情况下,写数据请求比读数据情况耗时更长。

由此可见,系统同时满足上述两个条件的概率非常小。

5 大key问题

我们在使用缓存的时候,特别是Redis,还有一个经常会遇到的问题是大key问题。

可能系统刚上线时,数据量少,在Redis中定义的key比较小,开发人员在做系统设计时,也没考虑这个问题。

系统运行了很长一段时间也没有问题。

但随着时间的推移,用户的数据越来越多,慢慢形成了大key问题。

可能在突然的某一天之后发现,线上某个接口耗时越来越长了。

追查原因,发现是大key问题导致的。

大key问题是指:缓存中单个key的value值过大。

之前我开发过一个分类树查询接口,为了性能考虑,使用job提前将分类树,保存到缓存中。

刚开始分类不多,只有几百个,分类树查询接口的响应挺快的。

但用了几年之后,分类数据涨到了上万个,该接口出现了性能问题,一查发现是大key引起的。

我们需要做优化,那么如何优化呢?

5.1 缩减字段名

为了优化在Redis中存储数据的大小,我们首先需要对数据进行瘦身。

只保存需要用到的字段。

例如:

@AllArgsConstructor
@Data
public class Category {

    private Long id;
    private String name;
    private Long parentId;
    private Date inDate;
    private Long inUserId;
    private String inUserName;
    private List<Category> children;
}

像这个分类对象中inDate、inUserId和inUserName字段是可以不用保存的。

修改自动名称。

例如:

@AllArgsConstructor
@Data
public class Category {
    /**
     * 分类编号
     */
    @JsonProperty("i")
    private Long id;

    /**
     * 分类层级
     */
    @JsonProperty("l")
    private Integer level;

    /**
     * 分类名称
     */
    @JsonProperty("n")
    private String name;

    /**
     * 父分类编号
     */
    @JsonProperty("p")
    private Long parentId;

    /**
     * 子分类列表
     */
    @JsonProperty("c")
    private List<Category> children;
}

由于在一万多条数据中,每条数据的字段名称是固定的,他们的重复率太高了。

由此,可以在json序列化时,改成一个简短的名称,以便于返回更少的数据大小。

5.2 数据做压缩

这还不够,需要对存储的数据做压缩。

之前在Redis中保存的key/value,其中的value是json格式的字符串。

其实RedisTemplate支持,value保存byte数组。

先将json字符串数据用GZip工具类压缩成byte数组,然后保存到Redis中。

再获取数据时,将byte数组转换成json字符串,然后再转换成分类树。

这样优化之后,保存到Redis中的分类树的数据大小,一下子减少了10倍,Redis的大key问题被解决了。

6 热key问题

不知道大家听说过二八原理没有。

80%的用户经常访问20%的热点数据。

这样带来的结果是数据的倾斜,不能均匀分布,尤其是高并发系统中问题比较大。

比如你现在搞了一个促销活动,有几款商品性价比非常高,这些商品数据在Redis中按分片保存的,不同的数据保存在不同的服务器节点上。

如果用户疯狂抢购其中3款商品,而这3款商品正好保存在同一台Redis服务端节点。

这样会出现大量的用户请求集中访问同一天Redis服务器节点,该节点很有可能会因为扛不住这么大的压力,而直接down机。

这个就是热key问题带来的危害。

那么,如何解决这个问题呢?

6.1 拆分key

在促销活动开始之前,我们要提前做好评估,分析这些商品哪些是热点商品。

然后将热点商品分开保存,不要集中保存到同一台Redis服务器节点。

这样不同的Redis服务器节点,可以分摊一些用户的请求压力。

6.2 增加本地缓存

对应热key,我们可以增加一层本地缓存,能够提升性能的同时也能避免Redis访问量过大的问题。

但带来的坏处是,可能会出现数据不一致问题,要根据实际的业务场景选择。

7 命中率问题

缓存的命中率问题,是一个让人非常头疼的问题。

前面的章节已经介绍过。

一般情况下,如果有用户请求过来,先查缓存,如果缓存中存在数据,则直接返回。

如果缓存中不存在,则再查数据库,如果数据库中存在,则将数据放入缓存,然后返回。如果数据库中也不存在,则直接返回失败。

流程图如下:d418d0e51c5958cdfb6a11c31a5f82cd.png

缓存命中:直接从缓存中获取数据。

缓存不命中:无法从缓存中获取数据,而要从数据库获取其他途径获取数据。

我们肯定是希望缓存命中率越高越好,这样接口的性能越好,但实际工作中却经常啪啪打脸。

因为可能会出现缓存不存在,或者缓存过期等问题,导致缓存不能命中。

那么,如何提升缓存的命中率呢?

7.1 缓存预热

我们在API服务启动之前,可以先用job,将相关数据先保存到缓存中,做预热。

这样后面的用户请求,就能直接从缓存中获取数据,而无需访问数据库了。

7.2 合理调整过期时间

有时候,我们给缓存设置的过期时间太短,导致后面会产生大量的过期缓存。

会导致缓存命中率非常低。

这时需要合理调整过期时间,比如:之前设置1秒的,现在改成5秒,10秒,30秒或者1分钟等等。

7.3 增加缓存内存

如果我们部署的Redis服务器的内存太小,很容易出现内存不足的情况,从而会频繁触发内存淘汰机制。

也会影响缓存的命中率。

这种情况下,我们需要增加缓存内存。

缓存的内存过小问题,也经常会出现。

今天的内容先分享到这里,感谢你的阅读,希望对你会有所帮助。


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

e2ec8840786b82683cf50a4029814597.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

f524bbf30a04797c00acc3074721cc28.png

a52447b747736c949550ac7eaab62f69.png4f5d6764c8e072823f894a3dadaf8195.png04cecb62415274cd76565eae6f2a867c.png80ad7e7c3da07cf41ff6cd671b0971c5.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
【nginx】nginx dns缓存踩坑记录 准备了两台虚机,进行上面规律的验证,nginx版本1.20.2IP用途nginx服务器域名对应服务器域名(非真实) 阅读详情

相关推荐

Java 七牛缓存刷新

由于七牛提供的文档不怎么好懂(有的功能根本在api中在不到答案),另外百度搜索的答案也不尽如意。折腾了两天,终于搞懂了通过调用七牛提供的API去刷新缓存!! 场景:APP中关于帮助说明原先都是写死的html静态文件,每次更改内容都是直接去服务器去改,很不方便也不安全,然后现在想通过后台去维护这些数据,而我们公司使用的就是七牛来管理文件的。所以现在的需求就是:①、通过后台使用七牛来管理这些

a77Nian的专栏 2033

还有人不懂布隆过滤器吗?

Python微信订餐小程序课程视频 https://edu.youkuaiyun.com/course/detail/36074 Python实战量化交易理财系统 https://edu.youkuaiyun.com/course/detail/35475 还有人不懂布隆过滤器吗? 1.介绍 我们在使用缓存的时候都会不可避免的考虑到如何应对 缓存雪崩 , 缓存穿透 和 缓存击穿 ,这里我们就来讲讲如何解决缓存穿透。 缓存穿透是指当有人非法请求不存在的数据的时候,由于数据不存在,所以缓存不会生效,请求会直接打到数据库上,当大量请求集

weixin_45566993的博客 952

保姆级教程:在STM32H750VBT6上跑起来CMSIS-DSP库(基于CubeMX+Keil)

本文详细介绍了在STM32H750VBT6微控制器上配置和运行CMSIS-DSP库的全过程,包括开发环境搭建、CubeMX工程配置、Keil工程设置以及DSP库的实际应用示例。通过FFT频谱分析和音频均衡器等实战案例,展示了如何利用STM32H750VBT6的硬件FPU加速DSP运算,提升实时信号处理性能。

weixin_30236595的博客 462

我使用缓存,踩过的7个坑

缓存在我们日常工作中,经常会使用,但如果用不好坑也挺多的。这篇文章总结了我工作中使用缓存遇到过的7个坑,还是非常有参考价值的,希望对你会有所帮助。

m0_69632475的博客 1487

【软件使用】Calibre部分提参的实用技巧与常见问题解析

本文深入解析Calibre部分提参功能的实用技巧与常见问题,重点介绍hcell和xcell文件的配置方法、PEX命令的进阶使用技巧,以及时钟失真等典型问题的排查指南。通过精准控制寄生参数提取范围,显著提升复杂芯片设计的效率与准确性。

weixin_30836759的博客 120

【RL in VLA】VLA中的强化学习

本文提出了一种名为 Reinforcement Learning Distilled Generalist(RLDG) 的方法,通过强化学习生成高质量训练数据来微调机器人基础模型。通过在多个精确操作任务上的实验,我们证明了 RLDG 在成功率和泛化能力上显著优于使用人类演示的传统微调方法。RLDG 不仅减少了对人类演示数据的依赖,还展示了在复杂多阶段任务中的灵活性和有效性。

三木今天学习了嘛の博客 2257

布隆过滤器使用总结

简介 简单来说,布隆过滤器(BloomFilter)是一种数据结构。特点是存在性检测,如果布隆过滤器中不存在,那么实际数据一定不存在;如果布隆过滤器中存在,实际数据不一定存在。相比于传统数据结构(如:List、Set、Map等)来说,它更高效,占用空间更少。缺点是它对于存在的判断是具有概率性。 原理 布隆过滤器(Bloom Filter)的核心实现是一个超大的位数组(或者叫位向量)和几个哈希函数。假设位数组的长度为m,哈希函数的个数为k。 以上图为例,具体的插入数据和校验是否存在的流程: 假设集

csdncjh的博客 1983

人形机器人构成及成本估算(附报告)

这些执行器本身由螺杆、减速器、电机、传感器、滚珠轴承和编码器等组件构成。实现线性与旋转运动互转。人形机器人的运动系统可以由电驱动、液压驱动或气动驱动组成,但由于电驱动具有更高的精度和更快的响应速度,正在成为主流设计方案。执行器:NSK、THK、Harmonic Drive、Leaderdrive、Nidec、Moons。由螺杆、减速器、电机、传感器、轴承和编码器组成(如上为Tesla Optimus执行器设计示意)。传感器:Keyence、Robosense、Sensata、ATI、TE、Sony。

具身机器人和通用AI 1781

使用布隆过滤器的flink十亿级数据实时过滤实践一

百亿级数据实时过滤,布隆过滤器,scala实现,flink广播状态使用,BroadcastProcessFunction

weixin_42529756的博客 3124

微信小程序报错:“errno“:600001,“errMsg“:“uploadFile:fail errcode:-105 cronet_error_code:-105 error_msg:net::

uploadFile:fail errcode:-105 cronet_error_code:-105 error_msg:net::ERR_NAME_NOT_RESOLVED,uniApp微信小程序使用uni.uploadFile出现报错,微信小程序如何解决wx.uploadFile报错,如何解决这个问题,微信小程序真机报错,微信小程序报错"errno":600001,"errMsg":"uploadFile:fail errcode:-105 cronet_error_code:-105 error_m

✅ 精选推荐文章 3832

Nature Communications|马兰戈尼效应构建空心金字塔微阵列制备高灵敏度柔性电容式压力传感器(健康监测/柔性压力传感/柔性电子/人机交互)

三维(3D)微结构因其在柔软性、轻质化、对3D表面的贴合性和可压缩性方面的显著优势,已经在生物医学监测、人机接口、机器人触觉和微型飞行器等领域引起了广泛关注。柔性电容式压力传感器(CPSs),由两片平行板组成,中间夹着一层软介电薄膜,具有设备构造简单、高灵敏度和快速响应速度等众多吸引人的优点。结构化介电层的三维机械设计在决定传感器性能方面起着至关重要的作用,如灵敏度(这是压力传感器的关键特性,因为它决定了感知微小压力和获取更多细节的能力,如轻柔触摸和脉搏检测)。

感知科学前沿 527

深踩 AndroidStudio 缓存的坑

本文记录的是今天在群里提到的昨天所踩的一个坑,有关 AndroidStudio 缓存的。 先说一下背景。 我负责的一个项目,对一个图表库有外部依赖。这个图表库是我在维护的,由于新功能在开发中,所以我就使用了 SNAPSHOT 版本发布到 OJO(oss.jfrog.org) 上。我在项目中刚更新了依赖,忽然想到还少几个 API,于是发布了 SNAPSHOT 版本。 故事就这样开始了。 ...

一个码农的博客 1万+

173、LLC谐振变换器的PCB设计实战(布线)

LLC谐振变换器PCB设计实战要点 LLC谐振变换器的PCB设计核心在于控制寄生参数,避免高频振铃和EMI问题。功率回路需确保电流路径最短且紧耦合,谐振电容焊盘需加宽以减少发热。驱动走线应独立于功率回路,避免干扰,并合理控制宽度和长度。变压器绕组结构影响共模噪声,建议原边在外层并加屏蔽铜箔。地平面设计需根据功率等级选择整块或分割,大功率下功率地与信号地应单点连接。谐振电流采样推荐四端开尔文电阻以减少电感干扰。散热需优化铜皮和过孔布局,功率器件优先放置顶层。布局应先确定谐振腔,再排布控制电路。经验上需实测寄生

Jack010169的博客 47

七年老码农聊 Spring 循环依赖:从踩坑到装 X 的自救指南​

大家好,我是那个在多线程坑里摸爬滚打了七年的菜鸡程序员。上周写接口时遇到个诡异问题:两个线程同时操作一个日期格式化工具类,结果返回的时间居然串了!老员工丢给我一句 "用 ThreadLocal 啊",当时我心里直犯嘀咕:这玩意儿听起来像 "线程本地变量",但到底怎么用?为啥能解决线程安全?今天就把我啃源码、查资料、踩坑无数的心得掰碎了讲,咱用人话聊技术,顺便穿插点打工人的辛酸泪。

Minoz_wl的博客 1759

C#实战大华智能安防系统:从SDK封装到视频流与智能报警的全链路落地

本文将介绍C#集成大华SDK开发安防系统的实战经验,重点解决多路视频预览卡顿和报警延迟问题。文章通过三层架构设计(SDK封装层、业务服务层、应用层)实现解耦,详细分析线程安全封装、高效解码显示和智能事件联动等核心技术。针对16路摄像头同时预览时CPU占用率过高的问题,提出使用子码流拉流与异步解码的优化方案,并总结8个常见开发陷阱的解决方案。文中还提供了大华智能安防系统的完整架构图,展示从设备层到应用层的交互流程,特别强调业务服务层中视频流服务和智能报警服务的核心功能设计。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 432

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

使用Redis缓存踩过的坑

缓存在日常工作中经常会使用,但如果用不好坑也挺多的,文章总结了使用缓存遇到的坑。

~ 875

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

一文吃透浏览器 HTTP 缓存:强缓存与协商缓存,从请求头到踩坑

本文介绍了HTTP缓存机制的核心要点,重点区分了强缓存和协商缓存的特点与应用场景。强缓存通过Cache-Control等响应头实现,可能不发请求;协商缓存则会发送请求并通过304状态码确认资源有效性。文章提供了curl和Chrome DevTools的实操方法,分析了常见误区如no-cache误解、HTML缓存配置不当等,并总结了三种发布策略。最后强调要理解缓存机制的实际工作流程,而非死记概念,建议将请求出站行为、响应头分析和资源分层管理作为核心学习方向。

2604_95456017的博客 556

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

springboot整合ehcache实现二级缓存踩坑

springboot整合redis+ehcache实现二级缓存

a20100997的博客 1531

vue3使用keep-alive缓存组件与踩坑日记

网上有很多教程都教人在App.vue里面的 router-view 标签中配置 keep-alive 标签,App.vue里面一般都有 router-view 标签做为路由出口,但它并非一定就是需要缓存的页面组件的路由出口。需求举例:需要缓存Home页面,使其在切换到其它页面再切换回来时不用再次渲染和获取请求。是一个vue自带的内置组件,它的功能是在多个组件间动态切换时缓存被移除的组件实例。方法一:在页面内另起一个不带 setup 的script标签。

m0_64664995的博客 2097

本地缓存:那些你可能踩过的坑

在开发高性能服务时,本地缓存无疑是个提升性能的好帮手。它就像是你电脑上的快速访问文件夹,让你能快速找到需要的数据,而不用每次都去数据库里翻箱倒柜。不过,就像使用任何工具一样,本地缓存也有它的“小脾气”,稍不注意就可能踩坑。今天,咱们就来聊聊使用本地缓存做服务时可能会遇到的那些坑。1. 数据一致性是个大问题在单体应用里,本地缓存可能还好管理,但一旦应用集群部署,数据一致性问题就来了。想象一下,你有好...

dotNET跨平台 286

这些年,使用缓存踩过的坑

缓存技术作为提升系统性能的关键技术,能很好解决高并发系统高QPS、低RT的性能诉求。如何合理使用这一技术,是系统设计研发人员经常思考的问题。 缓存普遍应用在众多的产品之中,从简单的使用分布式缓存,到后面演进使用多级缓存。根据不同场景应用需求而不断调整架构,为性能提升提供了强有力的支撑,但是也因此使得业务系统架构日趋复杂,导致系统在稳定性方面也面临了一些挑战。 本文结合这些年在缓存使用过程中的一些经验教训,重点着力于常用场景和常见问题,以及对应的处理思路,前人之坑,后事之桥。 分享线索:为什

whalecloud的博客 2408

使用缓存,踩过的7个坑

缓存在我们日常工作中,经常会使用,但如果用不好坑也挺多的。这篇文章总结了我工作中使用缓存遇到过的7个坑,还是非常有参考价值得,希望对你会有所帮助。

Wewe的博客 831

Next.js 15 图片查看网站:图片缓存策略的优化与踩坑

在 Next.js 15 图片网站中,缓存优化能提升用户体验和 SEO(通过更快加载)。优先使用内置工具Image组件是首选,减少手动配置。分层缓存:结合浏览器、CDN 和服务端缓存(例如:客户端缓存小图,CDN 缓存静态资源)。监控与测试:使用 Lighthouse 或 Web Vitals 分析性能,确保缓存策略有效。避免过度优化:对小网站,默认设置可能足够;高流量场景才需 Redis 或高级 CDN。通过以上步骤,您可以构建高效、可靠的图片查看网站。

2501_93894892的博客 983

盘点那些年我在软件开发中踩过的坑

说说那些年我开发软件的过程中踩过的坑

weixin_45642975的博客 1053

踩坑日记:Mybatis一级缓存

通过对mybitis缓存机制学习了解到,mybatisi的1级缓存其实是默认开启了的,并且只有在使用相同SqlSession并且查询sql完全相同是才会跳过查询数据库,直接使用缓存。并且一般情况下,通过mybatis mapper查询数据库,每次查询都会新建sqlSession, 因此一般情况下重复查询多次数据库其实没有使用到mybatis1级缓存。而开启事务时,在事务范围内才会复用SqlSession,此时则可能会使用缓存。

weixin_44271683的博客 1166
上一篇: 国产、开源、一站式自动化运维平台
下一篇: 一款 IDEA Mybatis插件:极大提升 CRUD 效率,堪称神器!
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值