Python中管道(PipeLine)的实现

Python中管道(PipeLine)的实现

在我们处理数据时，经常会用到自己创建的函数对数据进行处理，如何更方便实现数据的连续处理以及处理方式的自由组合，便是“管道”诞生的目的，下文将结合处理一维序列的例子阐述如何用Python实现一个简单的“管道”。

步骤一、定义处理序列的类

import numpy as np
from scipy.interpolate import interp1d

class SeqCope:
    def __init__(self):
        pass

    def grad_1d(self, seq):
        """ 对序列求一阶差分 """
        return np.gradient(np.arange(len(seq)), seq)

    def interpolation(self, seq):
        """ 插值 """
        f_linear = interp1d(np.arange(len(seq)), seq, "linear", fill_value="extrapolate")
        x_new = np.arange(0, len(seq), 0.5)
        y_new = f_linear(x_new)
        return y_new

    def norm(self, seq, kind='max-min'):
        """ 归一化 """
        if kind == 'max-min':
            seq = (seq - seq.min()) / (seq.max() - seq.min())
        else:
            seqs = (seq - seq.mean()) / seq.std()
        return seq

    def exp(self, seq, a):
        """ y = exp(ax) """
        return np.exp(a * seq)

    def log10(self, seq, b, c):
        """ y = b*log10(cx) """
        return np.log10(c * seq) * b

步骤二、定义管道类

以上定义了多个处理一维序列的方法，在使用的时候，需要对这些方法进行排列组合，“管道”能让代码看起来更加模式化，下面演示创建管道类。

class PipeLine:
    def __init__(self, func_params_list, instance=SeqCope()):
        self.func_params_list = func_params_list
        self.instance = instance
    def __call__(self, x):
        for function, *args in self.func_params_list:
            func = getattr(self.instance, function)
            if args:
                x = func(x, *args)
            else:
                x = func(x)
        return x

步骤三、使用管道

将想要用的方法以元组(tuple)的形式传入管道，每个元组，第一个元素为方法名对应的字符串，后面为方法对应的参数(除序列参数以外，因为管道创建完成之后，序列才能传入管道里面，故此处只用传入方法中序列以外的参数)，实例如下：

if __name__ == '__main__':
    # 创建一个示例序列
    seq = np.array([1, 2, 4, 15, 6, 10, 8])
    # 定义处理方式
    pipeline = PipeLine([
        ('grad_1d', ),
        ('interpolation', ),
        ('norm', 'max-min'),
        ('exp', 2),
        ('log10', 3, 4)
    ])
    # 使用管道处理数据
    new_seq = pipeline(seq)
    print(new_seq)

除了以上的排列方式，还可以按照自己的需求进行方法的排列。