解决mysql查询 DISTINCT数据量大导致加载过慢的问题

转载于 2021-12-31 10:41:24 发布

· 1.9k 阅读

版权

原文链接：https://blog.youkuaiyun.com/zhuxun_why/article/details/112260718?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~aggregatepage~first_rank_ecpm_v1~rank_v31_ecpm-1-112260718.pc_agg_new_rank&utm_term=distinct%E5%AF%BC%E8%87%B4%E6%9F%A5%E8%AF%A2%E6%

文章标签：

#mysql #数据库 #database

博客探讨了在使用TP框架进行SQL查询时，如何处理多表关联并准确计算每条数据关联的子表记录数。原始查询由于执行顺序导致数据不准确，通过使用DISTINCT函数进行了优化。然而，当线上数据量增大时，DISTINCT操作可能效率低下。因此，作者提出了新的优化查询方式，通过LEFT JOIN子查询分别计算A与B、A与C的关联记录数，确保了查询效率和准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题：想查询某个表A里面的数据关联的分表B数据，需要查询出A中每条数据中关联了B中多少条数据，还需要查出A关联表C中，每条A关联了多少条C中的数据。我用的是TP框架，当我直接用count（）查询，关联两个表同时查询的时候会出现查询的数据量不正确的问题，具体原因和执行的顺序有关。最后采用的是DISTINCT函数查询，测试没有问题但是线上数据比较多就会出问题。所以优化了一下写法

原来写法：


SELECT
    COUNT( DISTINCT C.sexp_id) AS count1,
    COUNT( DISTINCT (B.id)) AS count2
FROM
    `A`
LEFT JOIN C ON A.id = C.id
LEFT JOIN B ON A.e_id = C.id
ORDER BY
    A.id DESC
LIMIT 0,
10

优化后

SELECT
    t2.count2,
    t1.count1
FROM
    `A`
LEFT JOIN (SELECT id,COUNT(C.id) AS  count2 FROM C group by id) t2  ON A.id = t2.id
LEFT JOIN (SELECT id,COUNT(B.id) AS  count1 FROM B group by id) t1 ON A.id= t1.uid
ORDER BY
    A.id DESC
LIMIT 0,
100