高并发 发送请求(asyncio)

在接手这个项目之前，关于数据存储的代码逻辑如上图，看起来按部就班，也很合理。（本人觉得这就像个玩具车）

在最后一步发送HTTP request响应足够快的话，其实速度说不上快但稳定，可以接受。但偏偏第三季度了，数据量上来了，最后一步得到response的时间达到了2秒多（因为这个请求是往mysql里存储新数据，数据量很大的情况下，存储会慢很多），若是一个压缩包有一万条数据，那处理该文件的时间能达到6小时左右，每天可能有几十个这样的压缩包进入监测文件系统。（意思是 要用这个玩具车 去工地盖大楼了，无语......）

话说，对这样一个简单直接的逻辑，能想到几种优化方法？

1. 批量插入数据，在最后一步HTTP请求中批量发送数据，批量入库，这样比一个请求创建一个文件相关的数据快多了。

   BUT: 看了一下项目的代码，在HTTP请求发送后，入库的逻辑不是简单的创建一条数据，还会有：

   • 关联关系表的数据创建。

   • 非关联关系表的数据创建。

   • 每条数据入库前需要检查是否符合配置要求，不符合需剔除。

   • 需用规则表查寻规则信息，看情况为每条数据创建任务，并将任务记录在另一个表中。