我们在平时项目开发中是不是会遇到这样的场景,每次访问的时候需要去取内存里的数据,没取到就添加到内存,但是,又不想取到的内存是过于陈旧的。那这块我们该怎么去设计算法,从而很合理的去管理我们内存的数据呢?
今天,给大家分享一个在我们开发中比较常用的缓存淘汰算法 LRU,LRU是指最近最少使用策略来管理内存数据。根据数据的历史访问记录来进行淘汰缓存,即假如数据最近被访问过,那么它以后被访问到的几率会更高,也就不会被淘汰。
如何实现LRU缓存淘汰算法
场景:
我们现在有这么个真实场景,我在爬取某个网站时,控制该网站的代理IP并发数,太多会搞垮对方网站的对吧,要蹲号子的呢。这里我需要维护一个代理IP代理池,而且这些IP肯定不是一直都很稳定的,但是又不能取一个就丢一个,这样太浪费资源。所以我会将这些IP缓存起来,进行按需提取,采用LRU最近最少使用的策略去管理代理IP。
实现方案
核心思想:我们维护一个有序的链表,然后在链表尾部的数据就是最早被访问过的数据,当有新的数据被访问时,就从链表的表头开始顺序遍历访问。
1,当访问的代理IP不在链表内时,就会添加到链表头部。如下,维护了一个6个节点的链表,这6个proxyIp在链表内都没有被缓存过。
2