wufantastic的博客

很多时候我们需要查询类似于所有人做题量之类的查询，一般第一时间想到的会是group by 加count，这个在数据量不大的情况下还没问题，但数据达到百万级别就会是很大的问题，因为group by的字段如果过多会出现索引失效，例如以下例子：* 该表主要为了给大家看个结构，有删减CREATE TABLE `practice_answer_log` ( `id` int(11) unsig...

最近因为做统计，有些部门需要一次性展示几十项数据，而每项数据是单独查询且都有可能跨多库，但查询的库均是从库，访问量不大，看了下服务端和数据库的cpu，内存峰值也不是很高，于是想着要不要用多线程+连接池的方式去执行。在经过一番权衡和试验后选择了协程与连接池的搭配，原因很简单，省事，好维护！哈哈~~~~注意：此方案适用于数据库资源富余的情况，否则会出事的！！！对于资源不足的优化SQL...

*** 注意：该办法适用于没办法使用跨库软连接或者中间件的情况有些经验的都知道，mysql在in大量数据时会出现不走索引的现象，查了很多资料，解决办法主要是将in改为join,但是实际业务中可能会出现从其他库查过来的大量id，例如A库查到老师下面所有的学生id，B库根据学生id去查询统计做题信息等等。由于同一个请求中会有很多维度数据需要统计，所以我的办法是在最开始创建一个内存临时表，然后后...