Python的C拓展简介

Python的C拓展

1. 环境准备

如果是Linux只需要安装Python3.x + Python-dev。

Windows下稍微复杂点，VS2017 + Python3.6.3

VS2017可用社区版，需要选择安装的环境如下：

2. Hello World !

2.1 C模块封装

以计算两个数相加为例，选择任意文件夹，新建如下C语言源码：

// 文件名 calc.c
#include <Python.h>

int add(int x, int y){ // C 函数
    return x + y;
}

static PyObject *calc_add(PyObject *self, PyObject *args){

    int x, y;
    // Python传入参数
    // "ii" 表示传入参数为2个int型参数，将其解析到x, y变量中
    if(!PyArg_ParseTuple(args, "ii", &x, &y))
        return NULL;
    return PyLong_FromLong(add(x, y));
}

// 模块的方法列表
static PyMethodDef CalcMethods[] = {
     {"add", calc_add, METH_VARARGS, "函数描述"},
     {NULL, NULL, 0, NULL}
};

// 模块
static struct PyModuleDef calcmodule = {
    PyModuleDef_HEAD_INIT,
    "calc", // 模块名
    NULL, // 模块文档
    -1,       /* size of per-interpreter state of the module,
                or -1 if the module keeps state in global variables. */
    CalcMethods
};

// 初始化
PyMODINIT_FUNC PyInit_calc(void)
{
    return PyModule_Create(&calcmodule);
}

其中，静态函数 calc_add 以python的C接口方式封装了add函数，命名方式模块名_函数名

静态PyMethodDef列表 变量 CalcMethods 包含了该模块方法的描述

静态struct PyModuleDef结构体 变量 calcmodule 定义了模块的描述

PyInit_calc 函数初始化了模块，命名方式 PyInit_模块名

2.2 C源码编译

在VS2017中可以直接生成 .dll 文件，然后改名为 .pyd 就可在python程序中引入该模块了，但是，这不“清真”，正确的姿势是写一个setup.py然后通过python调cl.exe编译。

新建setup.py文件，内容如下：

# setup.py

from distutils.core import setup, Extension

module1 = Extension('calc',
                    sources=['calc.c'])

setup(name='calc_model',
      version='1.0',
      description='Hello ?',
      ext_modules=[module1]
)

然后，从Windows的命令行（命令提示符）下进入到这个文件夹下，执行：

python setup.py build

即可完成编译，如果出现某 .bat文件未找到，说明你的VS没有安装相应的依赖（Linux下编译不成功原因可能是没有装python-dev），按文章开头给出的依赖库添加修改（此时不需要重新安装VS）。

编译结束后，在该文件夹下会出现 build 文件夹，进入该文件夹，出现如下两个文件夹：

进入 lib.xxx那个文件夹，里面有个 .pyd 结尾的文件（Linux下为 .so 结尾），这就是我们编译好的python模块了，如下：

当然，你也可以改名为 calc.pyd 比较好看，不过这不影响调用。

2.3 Python调用

这部分就简单了，进入含有编译好的 .pyd 文件夹，新建如下文件：

import calc

print(calc.add(12, 21))

这就是一个普通库，这样调用就OK了。

3. Python的参数传递以及C的返回值相关问题

这部分我直接甩出文件就行，编译及调用过程与上面一样。

C 文件

/**构建返回值
Py_BuildValue("")                        None
Py_BuildValue("i", 123)                  123
Py_BuildValue("iii", 123, 456, 789)      (123, 456, 789)
Py_BuildValue("s", "hello")              'hello'
Py_BuildValue("y", "hello")              b'hello'
Py_BuildValue("ss", "hello", "world")    ('hello', 'world')
Py_BuildValue("s#", "hello", 4)          'hell'
Py_BuildValue("y#", "hello", 4)          b'hell'
Py_BuildValue("()")                      ()
Py_BuildValue("(i)", 123)                (123,)
Py_BuildValue("(ii)", 123, 456)          (123, 456)
Py_BuildValue("(i,i)", 123, 456)         (123, 456)
Py_BuildValue("[i,i]", 123, 456)         [123, 456]
Py_BuildValue("{s:i,s:i}", "abc", 123, "def", 456)    {'abc': 123, 'def': 456}
Py_BuildValue("((ii)(ii)) (ii)", 1, 2, 3, 4, 5, 6)          (((1, 2), (3, 4)), (5, 6))
**/

#include<Python.h>


static PyObject *value_commonArgs(PyObject *self, PyObject *args){
    // 传入普通参数,例如: s = value.com(1, 2.3, "Hello C")
    int x;
    double y;
    char *z;
    if(!PyArg_ParseTuple(args, "ids", &x, &y, &z))
        return NULL;
    printf("The args is %d and %f and %s .\n", x, y, z);
    // 返回(x, y, z)的元组
    return Py_BuildValue("(i,d,s)",x, y, z);
}



static PyObject *value_tupleTest(PyObject *self, PyObject *args){
    // t = value.tut((1, 3), "Tuple")
    int x, y;
    char *z;
    if(!PyArg_ParseTuple(args, "(ii)s", &x, &y, &z))
        return NULL;
    printf("The args is (%d, %d), %s .\n", x, y, z);

    // return ([1, 2], "hello")
    return Py_BuildValue("[i,i]s", x, y, z);
}



static PyObject *value_some(PyObject *self, PyObject *args){
    /* 可选参数，可能是下面几种， “|” 代表后面的参数可选
        c = value.som(1)
        value.som(1, 3)
        value.som(1, 2, "hello")
    */
    int x = 0, y = 0;
    char *z = NULL;
    if(!PyArg_ParseTuple(args, "i|is", &x, &y, &z))
        return NULL;
    printf("x is: %d\n", x);
    printf("y is: %d\n", y);
    if(z != NULL)printf("z is: %s\n", z);
    return Py_BuildValue("[i,i,s]", x, y, z);
}



static PyObject *value_kwargs(PyObject *self, PyObject *args, PyObject *kwargs){
    /* 带有键的参数
        value.kws(c=3)
        value.kws(d=2)
        value.kws(c=45, d=89)
    */

    int c = 0, d = 0;

    static char *keys[] = {"c", "d", NULL};

    if (!PyArg_ParseTupleAndKeywords(args, kwargs, "|ii", keys, &c, &d))
        return NULL;
    printf("The c : %d and d : %d\n", c, d);
    Py_RETURN_NONE;
}



static PyObject *value_listkwargs(PyObject *self, PyObject *args, PyObject *kwargs){
    /* 带键与不带键的参数
        value.lks(b=1, a=2)
        value.lks(1, 2, c=45)
        value.lks(3, 4, c=5, d=6)
        value.lks(d=3, c=4, b=5, a=6)
    */

    int a = 0, b = 0;
    int c = 0, d = 0;

    static char *keys[] = {"a", "b", "c", "d", NULL};

    if (!PyArg_ParseTupleAndKeywords(args, kwargs, "ii|ii", keys, &a, &b, &c, &d))
        return NULL;
    printf("a: %d, b: %d, c: %d, d: %d\n", a, b, c, d);
    Py_RETURN_NONE;
}



// 模块的方法列表
static PyMethodDef ValueMethods[] = {
     {"com", value_commonArgs, METH_VARARGS, "Common args."},
     {"tut", value_tupleTest, METH_VARARGS, "Tuple args."},
     {"som", value_some, METH_VARARGS, "Some args."},
     {"kws", (PyCFunction)value_kwargs, METH_VARARGS | METH_KEYWORDS,"kwargs doc."},
     {"lks", (PyCFunction)value_listkwargs, METH_VARARGS | METH_KEYWORDS,"List and kwargs doc."},
     {NULL, NULL, 0, NULL}
};



// 模块
static struct PyModuleDef valuemodule = {
    PyModuleDef_HEAD_INIT,
    "value", // 模块名
    "The python and c demo.", // 模块文档
    -1,
    ValueMethods
};



// 初始化
PyMODINIT_FUNC PyInit_value(void)
{
    return PyModule_Create(&valuemodule);
}

编译文件

from distutils.core import setup, Extension

module1 = Extension('value',
                    sources=['value.c'])

setup(name='valueTest_model',
      version='1.0',
      description='',
      ext_modules=[module1]
)

Python 调用文件

import value
s = value.com(1, 2.3, "Hello C")
print("Args: ", s)

t = value.tut((1, 3), "Tuple")
print("Tuple: ", t)

c = value.som(1)
value.som(1, 3)
value.som(1, 2, "hello")

value.kws(c=3)
value.kws(d=2)
value.kws(c=45, d=89)

value.lks(b=1, a=2)
value.lks(1, 2, c=45)
value.lks(3, 4, c=5, d=6)
value.lks(d=3, c=4, b=5, a=6)