B-Duck-No1

又隔了好久好久没有写博客，过完了春节元宵清明五一一大堆节日，今年就没了一半了，所以需要抓紧时间充实一下。

问题在开发过程中，整个数据流向为：爬虫抓取数据->数据中端进行数据清洗->入库Web端定义的业务表由于整个流程比较长，而且由于爬虫开发的不稳定性以及数据统计的复杂度，完整的开发往往不能完全异步进行，因为最后面向业务的Web端需要等待清洗入库的数据进行测试。一般来说，如果Web端需要的业务数据比较简单，开发自测的时候都可以手动生成INSERT等SQL模拟假数据，但是如果业务复杂...