python 提升执行速度 --- LRU

转载请注明作者和出处： http://blog.youkuaiyun.com/john_bh/

1. LRU

利用缓存技术，实现1行代码提升Python执行速度。

不同的编程语言，会有不同 的缓存策略，例如，通过哈希映射、优先级队列等实现缓存。因此，不同的编程语言，在缓存的解决方案方面具有很大差异，可能需要几分钟，也可能需要几小时。

但是，在Python中，标准工具包functools实现了一种名为 LRU(Least Recently Used) 的缓存策略，可以通过传入参数，来设定缓存最近多少次的计算结果，如果传入参数为None，那么会进行无限缓存。

2. 效率对比

通过functools工具包下LRU缓存和不使用LRU缓存进行实验对比：

# -*- coding :utf-8 -*-

import time as tt
import functools

def func():
    num=0
    for i in range(100000):
        num+=i
    return num

@functools.lru_cache(maxsize=5)
def func_lru():
    num=0
    for i in range(100000):
        num+=i
    return num
if __name__== '__main__':
    start =tt.time()
    re1 = func() + func() + func() + func() + func() + func() + func()
    end=tt.time()

    print("Time taken: {}".format(end - start))

    start_lru = tt.time()
    re1 = func_lru() + func_lru() + func_lru() + func_lru() + func_lru() + func_lru() + func_lru()
    end_lru = tt.time()

    print("LRU Time taken: {}".format(end_lru - start_lru))

Time taken: 0.031029701232910156
LRU Time taken: 0.004973411560058594

对比发现使用LRU后执行效率比不使用LRU高了一个数量级。
在调用lru_cache时，需要配置一个maxsize的参数，它代表着缓存最近几次的函数计算结果，如果参数为none则不进行缓存。
通过前面的对比，会发现利用缓存机制时间差别会很大，这是由于，重复调用函数，需要反复执行计算过程，而利用缓存，我们只需要进行快速读写，不再需要重复执行计算过程，这样会节省大部分时间。

使用斐波那契数列的例子进行对比一下：

# -*- coding :utf-8 -*-

import time as tt
import functools

def fib(n):
    if n<=1:
        return n
    return fib(n-1)+fib(n-2)

@functools.lru_cache(maxsize=5)
def fib_lru(n):
    if n<=1:
        return n
    return fib_lru(n-1)+fib_lru(n-2)

if __name__== '__main__':   
    start_fib=tt.clock()
    fib(30)
    print("Time taken: {}".format(tt.clock() - start_fib))

    start_fib_lru = tt.clock()
    fib_lru(30)
    print("LRU Time taken: {}".format(tt.clock() - start_fib_lru))

Time taken: 0.2839121
LRU Time taken: 2.5100000000000122e-05

fib(30) 和 fib_lru(30) 时间对比，之间差了4个量级，这样给人的直观感受应该就非常强烈了。

在涉及一些简单运算的过程中，即便是重复计算也无伤大雅。但是，如果涉及大量数据计算或者网络请求这类耗时的计算，利用缓存机制，只需要1行代码就可以节省可观的时间。既比重复计算节省时间，也要比多余定义变量简单。