python缓存技术_Python缓存技术实现过程详解

LRU缓存技术详解

一段非常简单代码

普通调用方式

def console1(a, b):

print("进入函数")

return (a, b)

print(console1(3, 'a'))

print(console1(2, 'b'))

print(console1(3.0, 'a'))

很简单的一段代码,传入两个参数。然后打印输出。输出结果

进入函数

(3, 'a')

进入函数

(2, 'b')

进入函数

(3.0, 'a')

使用某个装饰器后

接下来我们引入functools模块的lru_cache,python3自带模块。

from functools import lru_cache

@lru_cache()

def console2(a, b):

print("进入函数")

return (a, b)

print(console2(3, 'a'))

print(console2(2, 'b'))

print(console2(3.0, 'a'))

ほら、惊喜来了。

进入函数

(3, 'a')

进入函数

(2, 'b')

(3, 'a')

我们发现,少了一次进入函数的打印,这是怎么回事呢?这就是接下来要说的LRU缓存技术了。

我们理解下什么是LRU

LRU (Least Recently Used) 是缓存置换策略中的一种常用的算法。当缓存队列已满时,新的元素加入队列时,需要从现有队列中移除一个元素,LRU 策略就是将最近最少被访问的元素移除,从而腾出空间给新的元素。

python中的实现

python3中的functools模块的lru_cache实现了这个功能,lru_cache装饰器会记录以往函数运行的结果,实现了备忘(memoization)功能,避免参数重复时反复调用,达到提高性能的作用,在递归函数中作用特别明显。这是一项优化技术,它把耗时的函数的结果保存起来,避免传入相同的参数时重复计算。

带参数的lru_cache

使用方法lru_cache(maxsize=128, typed=False)maxsize可以缓存最多个此函数的调用结果,从而提高程序执行的效率,特别适合于耗时的函数。参数maxsize为最多缓存的次数,如果为None,则无限制,设置为2的n次幂时,性能最佳;如果 typed=True,则不同参数类型的调用将分别缓存,例如 f(3) 和 f(3.0),默认False来一段综合代码:

from functools import lru_cache

def console1(a, b):

print("进入函数")

return (a, b)

@lru_cache()

def console2(a, b):

print("进入函数")

return (a, b)

@lru_cache(maxsize=256, typed=True)

def console3(a, b):

'''

:param a:

:param b:

:return:

'''

print("进入函数")

return (a, b)

print(console1(3, 'a'))

print(console1(2, 'b'))

print(console1(3.0, 'a'))

print("*" * 40)

print(console2(3, 'a'))

print(console2(2, 'b'))

print(console2(3.0, 'a'))

print("*" * 40)

print(console3(3, 'a'))

print(console3(2, 'b'))

print(console3(3.0, 'a'))

同样的可以用到爬虫的去重操作上,避免网页的重复请求。在后期存储的时候做判断即可。

from functools import lru_cache

from requests_html import HTMLSession

session=HTMLSession()

@lru_cache()

def get_html(url):

req=session.get(url)

print(url)

return req

urllist=["https://www.baidu.com","https://pypi.org/project/pylru/1.0.9/","https://www.baidu.com"]

if __name__ == '__main__':

for i in urllist:

print(get_html(i))

输出

https://www.baidu.com

https://pypi.org/project/pylru/1.0.9/

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

本文标题: Python缓存技术实现过程详解

本文地址: http://www.cppcns.com/jiaoben/python/276089.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值