呆萌的代Ma

在上一篇Luigi的线性调度文章中，我们知道Task运行的时候：每个任务是否完成有两次判定，即：进行判定(未完成) =》运行def run(self)函数 =》进行判定(完成) =》运行后续的Task；如果第一次判定就完成，则不会执行当前Task的def run(self)函数但是Luigi支持的判定条件只有文件与SQL，在有些情况下（尤其是定时任务），我们希望它梳理并运行整个拓扑，而不是根据判定去决定是否运行，因此本文来解决这个问题，让我们能够直接运行Task。

Luigi是一个上手很快的框架，用几个小时就可以学到足以应付常规多模块多任务的程序了。

则有可能会在import导入的时候出现问题。

```log pattern```可以认为是对日志的分组，**一种日志格式format，对应一种patterns**，可以快速的对日志进行筛选并提取，是非常高效的日志分析的方法（或思路）

对于多次调试的程序来说，重复执行如：读取数据、加载模型、得到导入的外部数据或三方库等重复操作的过程，可以使用网络服务搭建一个类似API一样的操作，一次读取，终身使用FastAPI我们使用tsfresh。...

由于request本身只能发送同步的请求，因此我们使用支持异步的httpx来访问网站，对比同步与异步的写法，用同步与异步的方法循环访问一个网站列表啊~没错，异步操作需要函数/三方库本身支持异步，这就是为什么上一节中使用，而不是。...

这篇博客简单的体会一下异步执行的感觉，并且改写一个常见的操作，理解异步的使用场景。异步的含义是：在程序有一些需要等待的时候，把继续运行的权利交出去，然后等到某个条件达成后再重新申请继续执行，它是相对于“同步”而出现的词。同步与异步的区别：类比成生活就是：一个小人，有两个作业：1. 线上平板刷课10分钟；2. 做口算题5分钟异步与并行的区别：对于一个如下的一般的程序：得到的结果是：程序按照既定的程序，按部就班的循序执行并得到想要的结果改写的步骤如下：得到的结果如下：可以看到：因此，异步操作可以使用：任

在实际部署的时候，使用dataframe的计算效率明显低于numpy，因此在程序中大量运行时避免使用pandas.Series与pandas.DataFrame及频繁的构造，避免、替换的方法如下：使用numpy.ndarry替换pandas.Series，在需要使用series的地方都用ndarry数组计算使用滑动计算时，使用numpy的如下方法替换：np.roll(array, 1) # 向后搓一位（此时最后面的到最前面）np.roll(array, -1) # 向前搓一位（此时第一位