基于Python Django + Celery + RabitMQ+Clickhouse+S3的数据导出服务

工作背景

由于线上的查询与导数任务影响了业务的数据库查询性能，于是需要大数据团队负责将这块业务梳理到数据侧进行。

主要的工作流程

上图展示了在业务与data的接口侧的现在的技术架构图。下面对这个过程进行说明下：
原来业务的旧方案（图中的左边部分）：

1. 业务前端通过导出请求，将请求打到她们自己的后台服务器上，这时候，服务器会做两件事情，（1）为这个请求生成一个UUID，并将这个请求消息的相关参数存入到mysq 中，（2）将这个消息存入到MQ中。
2. 消费者进程（Celery）读取MQ中的消息，并按照消息中的参数，请求查询业务数据库，将查询结果写到S3文件中。并将S3的链接与执行状态写到mysql库中。
3. 前端轮询接口，查询到该任务的状态信息后，即成功消息，与S3文件链接链接。生成生成相应的下载页面。
4. 页面点击下载后，通过S3的文件链接，下载S3文件。

新的加入数据团队的方案（整个图）：

1. 业务前端通过导出请求，将请求打到她们自己的后台服务器上，这时候，服务器会做两件事情，（1）为这个请求生成一个UUID，并将这个请求消息的相关参数存入到mysq 中，（2）将这个消息存入到MQ中。
2. 消费者进程（Celery）读取MQ中的消息，并将请求转发到DATA 侧。
3. DATA接收到了请求后，后续的操作与业务类似。即服务器会做两件事情，（1）为这个请求生成一个UUID，并将这个请求消息的相关参数存入到mysq 中，（2）将这个消息存入到MQ中。
4. 消费者进程（Celery）读取MQ中的消息，并按照消息中的参数，请求查询Clickhouse数据库，将查询结果写到S3文件中。并将S3的链接与执行状态写到mys