文章目录
1、Python 优化提速的 8 个小技巧
学习摘抄来自 Python 优化提速的 8 个小技巧
1.1、代码优化原则
不要过早优化——让正确的程序更快要比让快速的程序正确容易得多
权衡优化的代价——时间换空间或空间换时间、开发代价
不要优化那些无关紧要的部分——首先要找到代码运行慢的位置,通常是内部循环,专注于运行慢的地方进行优化
1.2、避免全局变量
通过将脚本语句放入到函数中,通常可带来 15% - 30% 的速度提升。
由于全局变量和局部变量实现方式不同,定义在全局范围内的代码运行速度会比定义在函数中的慢不
【全局】
import time
import math
s = time.time()
size = 10000
for x in range(size):
for y in range(size):
z = math.sqrt(x) + math.sqrt(y)
t = time.time() - s
print(t) # 28.321624994277954
【局部】
import time
import math
s = time.time()
def main():
size = 10000
for x in range(size):
for y in range(size):
z = math.sqrt(x) + math.sqrt(y)
main()
t = time.time() - s
print(t) # 24.015749216079712
1.2、避免函数属性访问
每次使用 .
(属性访问操作符时)会触发特定的方法,如__getattribute__()
和__getattr__()
,这些方法会进行字典操作,因此会带来额外的时间开销。通过 from import
语句,可以消除属性访问。
【baseline】
import time
import math
s = time.time()
def compute_sqrt(size):
result = []
for i in range(size):
result.append(math.sqrt(i))
return result
def main():
size = 10000
for _ in range(size):
result = compute_sqrt(size)
main()
t = time.time() - s
print(t) # 15.633185386657715
【消除 sqrt 的属性访问】
import time
from math import sqrt
s = time.time()
def compute_sqrt(size):
result = []
for i in range(size):
result.append(sqrt(i)) # changed
return result
def main():
size = 10000
for _ in range(size):
result = compute_sqrt(size)
main()
t = time.time() - s
print(t) # 13.318369150161743
【局部变量的查找会比全局变量更快】
import time
import math
s = time.time()
def compute_sqrt(size):
sqrt = math.sqrt # changed
result = []
for i in range(size):
result.append(sqrt(i)) # changed
return result
def main():
size = 10000
for _ in range(size):
result = compute_sqrt(size)
main()
t = time.time() - s
print(t) # 12.782810926437378
【list.append 也涉及到了属性访问,消除掉】
import time
import math
s = time.time()
def compute_sqrt(size):
result = []
sqrt = math.sqrt # changed
append = result.append # changed
for i in range(size):
append(sqrt(i)) # changed
return result
def main():
size = 10000
for _ in range(size):
result = compute_sqrt(size)
main()
t = time.time() - s
print(t) # 11.429441690444946
1.3、避免类内属性访问
访问 self._value
的速度会比访问一个局部变量更慢一些。通过将需要频繁访问的类内属性赋值给一个局部变量,可以提升代码运行速度
import time
import math
class DemoClass:
def __init__(self, value):
self._value = value
def computesqrt(self, size):
result = []
append = result.append
sqrt = math.sqrt
for _ in range(size):
append(sqrt(self._value))
return result
def main():
size = 10000
for _ in range(size):
demo = DemoClass(size)
result = demo.computesqrt(size)
s = time.time()
main()
t = time.time() - s
print(t) # 13.051112174987793
import time
import math
class DemoClass:
def __init__(self, value):
self._value = value
def computesqrt(self, size):
result = []
append = result.append
sqrt = math.sqrt
value = self._value # changed
for _ in range(size):
append(sqrt(value))
return result
def main():
size = 10000
for _ in range(size):
demo = DemoClass(size)
result = demo.computesqrt(size)
s = time.time()
main()
t = time.time() - s
print(t) # 11.46233320236206
1.4、避免不必要的抽象
任何时候当你使用额外的处理层(比如装饰器、属性访问、描述器)去包装代码时,都会让代码变慢。大部分情况下,需要重新进行审视使用属性访问器的定义是否有必要,使用getter/setter函数对属性进行访问通常是 C/C++ 程序员遗留下来的代码风格。如果真的没有必要,就使用简单属性
import time
import math
class DemoClass:
def __init__(self, value):
self.value = value
@property
def value(self):
return self._value
@value.setter
def value(self, x):
self._value = x
def main():
size = 1000000
for i in range(size):
demo = DemoClass(size)
value = demo.value
demo.value = i
s = time.time()
main()
t = time.time() - s
print(t) # 0.4996964931488037
import time
class DemoClass:
def __init__(self, value):
self.value = value
def main():
size = 1000000
for i in range(size):
demo = DemoClass(size)
value = demo.value
demo.value = i
s = time.time()
main()
t = time.time() - s
print(t) # 0.2712728977203369
1.5、避免数据复制
import time
def main():
size = 10000
for _ in range(size):
value = range(size)
value_list = [x for x in value]
square_list = [x**2 for x in value_list]
s = time.time()
main()
t = time.time() - s
print(t) # 21.94828724861145
import time
def main():
size = 10000
for _ in range(size):
value = range(size)
square_list = [x**2 for x in value]
s = time.time()
main()
t = time.time() - s
print(t) # 19.546735286712646
1.6、交换值时不使用中间变量
import time
def main():
size = 1000000
for _ in range(size):
a = 3
b = 5
temp = a
a = b
b = temp
s = time.time()
main()
t = time.time() - s
print(t) # 0.04886913299560547
import time
def main():
size = 1000000
for _ in range(size):
a = 3
b = 5
a,b = b,a
s = time.time()
main()
t = time.time() - s
print(t) # 0.044878244400024414
1.7、字符串拼接用 join 而不是+
import time
import string
def concatstring(string_list):
result = ""
for str_i in string_list:
result += str_i
return result
def main():
string_list = list(string.ascii_letters * 100)
#print(string.ascii_letters) # abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ
#print(len(string.ascii_letters)) # 52
for _ in range(10000):
result = concatstring(string_list)
s = time.time()
main()
t = time.time() - s
print(t) # 9.094638586044312
import time
import string
def concatstring(string_list):
return "".join(string_list)
def main():
string_list = list(string.ascii_letters * 100)
#print(string.ascii_letters) # abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ
#print(len(string.ascii_letters)) # 52
for _ in range(10000):
result = concatstring(string_list)
s = time.time()
main()
t = time.time() - s
print(t) # 0.2922179698944092
当使用 a + b 拼接字符串时,由于 Python 中字符串是不可变对象,其会申请一块内存空间,将 a 和 b 分别复制到该新申请的内存空间中。因此,如果要拼接 n 个字符串,会产生 n-1 个中间结果,每产生一个中间结果都需要申请和复制一次内存,严重影响运行效率。而使用 join() 拼接字符串时,会首先计算出需要申请的总的内存空间,然后一次性地申请所需内存,并将每个字符串元素复制到该内存中去
1.8、利用 if 条件的短路特性
if 条件的短路特性是指对 if a and b 这样的语句, 当 a 为 False 时将直接返回,不再计算 b;对于 if a or b 这样的语句,当 a 为True时将直接返回,不再计算b 。因此, 为了节约运行时间,对于 or 语句,应该将值为 True 可能性比较高的变量写在 or 前,而 and 应该推后。
1.9、循环优化
用 for 循环代替 while 循环
import time
def computesum(size):
sum_ = 0
i = 0
while i < size:
sum_ += i
i += 1
return sum_
def main():
size = 10000
for _ in range(size):
result = computesum(size)
s = time.time()
main()
t = time.time() - s
print(t) # 9.779865980148315
import time
def computesum(size):
sum_ = 0
for i in range(size):
sum_ += i
return sum_
def main():
size = 10000
for _ in range(size):
result = computesum(size)
s = time.time()
main()
t = time.time() - s
print(t) # 4.808104038238525
python 的 for 循环比 while 循环快不少
使用隐式 for 循环代替显式 for 循环
承接上面的例子
import time
def computesum(size):
return sum(range(size)) # 隐式 for 循环代替显式 for 循环
def main():
size = 10000
for _ in range(size):
result = computesum(size)
s = time.time()
main()
t = time.time() - s
print(t) # 1.5418744087219238
减少内层 for 循环的计算
1 避免全局变量
的代码中 sqrt(x) 位于内侧 for 循环, 每次训练过程中都会重新计算一次,增加了时间开销
import time
import math
def main():
size = 10000
sqrt = math.sqrt
for x in range(size):
for y in range(size):
z = sqrt(x) + sqrt(y)
s = time.time()
main()
t = time.time() - s
print(t) # 17.86617159843445
import time
import math
def main():
size = 10000
sqrt = math.sqrt
for x in range(size):
sqrt_x = sqrt(x)
for y in range(size):
z = sqrt_x + sqrt(y)
s = time.time()
main()
t = time.time() - s
print(t) # 10.21863317489624
10、使用 numba.jit
numba 可以将 Python 函数 JIT 编译为机器码执行,大大提高代码运行速度。关于 numba 的更多信息见下面的主页:http://numba.pydata.org/numba.pydata.org
import time
def computesum(size):
sum_ = 0
for i in range(size):
sum_ += i
return sum_
def main():
size = 10000
for _ in range(size):
result = computesum(size)
s = time.time()
main()
t = time.time() - s
print(t) # 4.808104038238525
import time
import numba
@numba.jit
def computesum(size):
sum_ = 0
for i in range(size):
sum_ += i
return sum_
def main():
size = 10000
for _ in range(size):
result = computesum(size)
s = time.time()
main()
t = time.time() - s
print(t) # 1.409585952758789
11、选择合适的数据结构
Python 内置的数据结构如 str
, tuple
, list
, set
, dict
底层都是 C 实现的,速度非常快,自己实现新的数据结构想在性能上达到内置的速度几乎是不可能的。
list
类似于 C++ 中的 std::vector
,是一种动态数组。其会预分配一定内存空间,当预分配的内存空间用完,又继续向其中添加元素时,会申请一块更大的内存空间,然后将原有的所有元素都复制过去,之后销毁之前的内存空间,再插入新元素。
删除元素时操作类似,当已使用内存空间比预分配内存空间的一半还少时,会另外申请一块小内存,做一次元素复制,之后销毁原有大内存空间。
因此,如果有频繁的新增、删除操作,新增、删除的元素数量又很多时,list
的效率不高。此时,应该考虑使用collections.deque
。collections.deque 是双端队列,同时具备栈和队列的特性,能够在两端进行 O(1) 复杂度的插入和删除操作。
list
的查找操作也非常耗时。当需要在 list
频繁查找某些元素,或频繁有序访问这些元素时,可以使用 bisect
维护 list
对象有序并在其中进行二分查找,提升查找的效率。
另外一个常见需求是查找极小值或极大值,此时可以使用 heapq
模块将 list
转化为一个堆,使得获取最小值的时间复杂度是 O(1)。
下面的网页给出了常用的 Python 数据结构的各项操作的时间复杂度:https://wiki.python.org/moin/TimeComplexity
2、Lazy evaluation
惰性计算(Lazy evaluation),也被译为延迟计算或惰性求值,是计算机编程中的一个重要概念。
一、定义与原理
- 惰性计算指的是,在计算过程中,表达式不在它被绑定到变量之后就立即求值,而是在该值被实际取用的时候才进行计算。这种策略旨在最小化计算机所需执行的工作,从而提升性能。
二、特点与优势
- 延迟求值:惰性计算的核心在于延迟表达式的求值过程,直到该值被真正需要时才进行计算。这有助于避免不必要的计算,从而提升程序的执行效率。
- 性能提升:通过减少不必要的计算,惰性计算可以显著提升程序的运行性能。特别是在处理大规模数据或复杂计算时,这种优势尤为明显。
- 构造无限数据结构:惰性计算允许程序员构造无限的数据结构,如无限列表或无限流,而不会导致程序陷入无限循环或内存溢出。这是因为只有在需要时才会计算数据的值。
- 节省空间:由于惰性计算避免了不必要的计算,因此可以节省大量的内存空间。这对于资源受限的环境或需要处理大量数据的场景尤为重要。
三、应用场景
- 函数式编程:惰性计算特别适用于函数式编程语言,如Haskell、Miranda等。这些语言通常默认支持惰性计算,使得程序员可以更加灵活地处理数据。
- 条件表达式:在Python等语言中,惰性计算可以用于优化条件表达式的执行。例如,在 “if x and y” 表达式中,如果x为false,则不会计算y的值,从而避免了不必要的计算。
- 迭代器与生成器:在JavaScript等语言中,迭代器与生成器是实现惰性计算的重要工具。它们允许程序员创建可以按需生成值的序列,从而节省内存和计算资源。
四、实现方式
- 默认支持:某些编程语言(如Miranda和Haskell)默认支持惰性计算。在这些语言中,程序员无需进行额外的配置或编写特殊的代码即可享受惰性计算带来的优势。
- 函数或特殊语法:另一些语言(如Scheme)提供函数或特殊语法来支持惰性计算。例如,Scheme提供了delay和force函数来延迟表达式的求值和强制求值。
- 库或框架:对于不支持惰性计算的语言,程序员可以通过引入第三方库或框架来实现这一功能。这些库或框架通常提供了类似的接口和语法来支持惰性计算。
五、注意事项
- 避免无限循环:虽然惰性计算允许构造无限的数据结构,但程序员需要确保不会意外地创建导致无限循环的表达式。这通常需要通过仔细设计算法和逻辑来实现。
- 性能权衡:虽然惰性计算可以提升性能,但在某些情况下(如需要立即获取结果时),它可能会增加延迟*。因此,程序员需要根据具体的应用场景和需求来权衡使用惰性计算的利弊。
综上所述,惰性计算是一种强大的编程策略,它可以帮助程序员优化程序的执行效率、节省内存空间,并构造无限的数据结构。然而,在使用惰性计算时,程序员也需要注意避免无限循环和性能权衡等问题。
3、taichi
胡渊鸣:import一个“太极”库,让Python代码提速100倍!
提速前
import time
def is_prime(n):
result = True
for k in range(2, int(n ** 0.5) + 1):
if n % k == 0:
result = False
break
return result
def count_primes(n):
count = 0
for k in range(2, n):
if is_prime(k):
count += 1
return count
star = time.time()
count_primes(100_0000)
end = time.time()
print(end-star)
output
4.871095180511475
引入 tachi 提速后
import time
import taichi as ti
ti.init(arch=ti.cpu)
@ti.func
def is_prime(n:int) -> int:
result = True
for k in range(2, int(n ** 0.5) + 1):
if n % k == 0:
result = False
break
return result
@ti.kernel
def count_primes(n:int) -> int:
count = 0
for k in range(2, n):
if is_prime(k):
count += 1
return count
star = time.time()
count_primes(100_0000)
end = time.time()
print(end-star)
注意,一定要指定好函数形参的类型,不然会报错
0.24001169204711914
速度真的提升了很多