这个库居然能让python提速100倍

最新推荐文章于 2024-11-19 20:57:17 发布

原创

最新推荐文章于 2024-11-19 20:57:17 发布 · 633 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python #程序人生 #恰饭 #经验分享

博客介绍了如何通过特定库提升Python程序的运行速度，特别是对于大数据处理的应用。通过示例展示了如何使用库将函数编译为机器码，从而大幅提高运算效率。还提到了meta模块和llvmpy模块在动态编译和理解Python语法树中的作用。

python一直被病垢运行速度太慢，但是实际上python的执行效率并不慢，慢的是python用的解释器Cpython运行效率太差。

“一行代码让python的运行速度提高100倍”这绝不是哗众取宠的论调。

我们来看一下这个最简单的例子，从1一直累加到1亿。

最原始的代码：

import time
def foo(x,y):
        tt = time.time()
        s = 0
        for i in range(x,y):
                s += i
        print('Time used: {} sec'.format(time.time()-tt))
        return s

print(foo(1,100000000))

结果：

Time used: 6.779874801635742 sec
4999999950000000

我们来加一行代码，再看看结果：

from numba import jit
import time
@jit
def foo(x,y):
        tt = time.time()
        s = 0
        for i in range(x,y):
                s += i
        print('Time used: {} sec'.format(time.time()-tt))
        return s
print(foo(1,100000000))

结果：

Time used: 0.04680037498474121 sec
4999999950000000

是不是快了100多倍呢？

那么下面就分享一下“为啥numba库的jit模块那么牛掰？”

NumPy的创始人Travis Oliphant在离开Enthought之后，创建了CONTINUUM，致力于将Python大数据处理方面的应用。最近推出的Numba项目能够将处理NumPy数组的Python函数JIT编译为机器码执行，从而上百倍的提高程序的运算速度。

Numba项目的主页上有Linux下的详细安装步骤。编译LLVM需要花一些时间。Windows用户可以从Unofficial Windows Binaries for Python Extension Packages下载安装LLVMPy、meta和numba等几个扩展库。

下面我们看一个例子：

import numba as nb
from numba import jit

@jit('f8(f8[:])')
def sum1d(array):
    s = 0.0
    n = array.shape[0]
    for i in range(n):
        s += array[i]
    return s

import numpy as np
array = np.random.random