分页查询接口,从2s优化到了0.01s!

接口响应慢的六大原因与优化实战 接口性能优化是分布式系统开发中的核心课题,其本质在于资源调度与请求处理效率的平衡。从技术原理看,网络传输、服务器资源、数据库查询等基础组件共同构成调用链路,任何环节出现瓶颈都会导致响应延迟。工程实践中,通过全链路监控和压测工具可以快速定位性能瓶颈点,常见优化手段包括索引优化、缓存策略升级和异步化改造。针对电商秒杀、物流跟踪等高并发场景,需要特别关注数据库连接池、线程池等关键资源配置。本文结合TCP重传、索引失效等典型case,详细拆解了从问题定位到解决方案的完整方法论。 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

5d208e49c515bfa8c0de1ddfcf7095e5.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、CRM 等等功能:

  • Boot 仓库:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 仓库:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK 21 + SpringBoot 3.2.2、JDK 8 + Spring Boot 2.7.18 双版本 

来源:苏三说技术


前言

最近有个小伙伴问了这样一个问题:百万商品分页查询接口,如何保证接口的性能?

这就需要对该分页查询接口做优化了。

这篇文章从9个方面跟大家一起聊聊分页查询接口优化的一些小技巧,希望对你会有所帮助。

714eda307f6f54d753e1e1b68d9786b0.png

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

1 增加默认条件

对于分页查询接口,如果没有特殊要求,我们可以在输入参数中,给一些默认值。

这样可以缩小数据范围,避免每次都count所有数据的情况。

对于商品查询,这种业务场景,我们可以默认查询当天上架状态的商品列表。

例如:

select * from product 
where edit_date>='2023-02-20' and edit_date<'2023-02-21' and status=1

如果每天有变更的商品数量不多,通过这两个默认条件,就能过滤掉绝大部分数据,让分页查询接口的性能提升不少。

温馨提醒一下:记得给时间和状态字段增加一个联合索引。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

2 减少每页大小

分页查询接口通常情况下,需要接收两个参数:pageNo(即:页码)和pageSize(即:每页大小)。

如果分页查询接口的调用端,没有传pageNo默认值是1,如果没有传pageSize也可以给一个默认值10或者20。

不太建议pageSize传入过大的值,会直接影响接口性能。

在前端有个下拉控件,可以选择每页的大小,选择范围是:10、20、50、100。

前端默认选择的每页大小为10。

不过在实际业务场景中,要根据产品需求而且,这里只是一个参考值。

3 减少join表的数量

有时候,我们的分页查询接口的查询结果,需要join多张表才能查出数据。

比如在查询商品信息时,需要根据商品名称、单位、品牌、分类等信息查询数据。

这时候写一条sql可以查出想要的数据,比如下面这样的:

select 
  p.id,
  p.product_name,
  u.unit_name,
  b.brand_name,
  c.category_name
from product p
inner join unit u on p.unit_id = u.id
inner join brand b on p.brand_id = b.id
inner join category c on p.category_id = c.id
where p.name='测试商品' 
limit 0,20;

使用product表去join了unit、brand和category这三张表。

其实product表中有unit_id、brand_id和category_id三个字段。

我们可以先查出这三个字段,获取分页的数据缩小范围,之后再通过主键id集合去查询额外的数据。

我们可以把sql改成这样:

select 
  p.id,
  p.product_id,
  u.unit_id,
  b.brand_id,
  c.category_id
from product
where name='测试商品'
limit 0,20;

这个例子中,分页查询之后,我们获取到的商品列表其实只要20条数据。

再根据20条数据中的id集合,获取其他的名称,例如:

select id,name 
from unit
where id in (1,2,3);

然后在程序中填充其他名称。

伪代码如下:

List<Product> productList = productMapper.search(searchEntity);
List<Long> unitIdList = productList.stream().map(Product::getUnitId).distinct().collect(Collectors.toList());
List<Unit> unitList = UnitMapper.queryUnitByIdList(unitIdList);
for(Product product: productList) {
   Optional<Unit> optional = unitList.stream().filter(x->x.getId().equals(product.getId())).findAny();
   if(optional.isPersent()) {
      product.setUnitName(optional.get().getName());
   } 
}

这样就能有效的减少join表的数量,可以一定的程度上优化查询接口的性能。

4 优化索引

分页查询接口性能出现了问题,最直接最快速的优化办法是:优化索引。

因为优化索引不需要修改代码,只需回归测试一下就行,改动成本是最小的。

我们需要使用explain关键字,查询一下生产环境分页查询接口的执行计划。

看看有没有创建索引,创建的索引是否合理,或者索引失效了没。

索引不是创建越多越好,也不是创建越少越好,我们需要根据实际情况,到生产环境测试一下sql的耗时情况,然后决定如何创建或优化索引。

建议优先创建联合索引。

5 用straight_join

有时候我们的业务场景很复杂,有很多查询sql,需要创建多个索引。

在分页查询接口中根据不同的输入参数,最终的查询sql语句,MySQL根据一定的抽样算法,却选择了不同的索引。

不知道你有没有遇到过,某个查询接口,原本性能是没问题的,但一旦输入某些参数,接口响应时间就非常长。

这时候如果你此时用explain关键字,查看该查询sql执行计划,会发现现在走的索引,跟之前不一样,并且驱动表也不一样。

之前一直都是用表a驱动表b,走的索引c。

此时用的表b驱动表a,走的索引d。

为了解决Mysql选错索引的问题,最常见的手段是使用force_index关键字,在代码中指定走的索引名称。

但如果在代码中硬编码了,后面一旦索引名称修改了,或者索引被删除了,程序可能会直接报错。

这时该怎么办呢?

答:我们可以使用straight_join代替inner join。

straight_join会告诉Mysql用左边的表驱动右边的表,能改表优化器对于联表查询的执行顺序。

之前的查询sql如下:

select p.id from product p
inner join warehouse w on p.id=w.product_id;
...

我们用它将之前的查询sql进行优化:

select p.id from product p
straight_join warehouse w on p.id=w.product_id;
...

6 数据归档

随着时间的推移,我们的系统用户越来越多,产生的数据也越来越多。

单表已经到达了几千万。

这时候分页查询接口性能急剧下降,我们不能不做分表处理了。

做简单的分表策略是将历史数据归档,比如:在主表中只保留最近三个月的数据,三个月前的数据,保证到历史表中。

我们的分页查询接口,默认从主表中查询数据,可以将数据范围缩小很多。

如果有特殊的需求,再从历史表中查询数据,最近三个月的数据,是用户关注度最高的数据。

7 使用count(*)

在分页查询接口中,需要在sql中使用count关键字查询总记录数。

目前count有下面几种用法:

  • count(1)

  • count(id)

  • count(普通索引列)

  • count(未加索引列)

那么它们有什么区别呢?

  • count(*) :它会获取所有行的数据,不做任何处理,行数加1。

  • count(1):它会获取所有行的数据,每行固定值1,也是行数加1。

  • count(id):id代表主键,它需要从所有行的数据中解析出id字段,其中id肯定都不为NULL,行数加1。

  • count(普通索引列):它需要从所有行的数据中解析出普通索引列,然后判断是否为NULL,如果不是NULL,则行数+1。

  • count(未加索引列):它会全表扫描获取所有数据,解析中未加索引列,然后判断是否为NULL,如果不是NULL,则行数+1。

由此,最后count的性能从高到低是:

count(*) ≈ count(1) > count(id) > count(普通索引列) > count(未加索引列)

所以,其实count(*)是最快的。

我们在使用count统计总记录数时,一定要记得使用count(*)。

8 从ClickHouse查询

有些时候,join的表实在太多,没法去掉多余的join,该怎么办呢?

答:可以将数据保存到ClickHouse。

ClickHouse是基于列存储的数据库,不支持事务,查询性能非常高,号称查询十几亿的数据,能够秒级返回。

为了避免对业务代码的嵌入性,可以使用Canal监听Mysql的binlog日志。当product表有数据新增时,需要同时查询出单位、品牌和分类的数据,生成一个新的结果集,保存到ClickHouse当中。

查询数据时,从ClickHouse当中查询,这样使用count(*)的查询效率能够提升N倍。

需要特别提醒一下:使用ClickHouse时,新增数据不要太频繁,尽量批量插入数据。

其实如果查询条件非常多,使用ClickHouse也不是特别合适,这时候可以改成ElasticSearch,不过它跟Mysql一样,存在深分页问题。

9 数据库读写分离

有时候,分页查询接口性能差,是因为用户并发量上来了。

在系统的初期,还没有多少用户量,读数据请求和写数据请求,都是访问的同一个数据库,该方式实现起来简单、成本低。

刚开始分页查询接口性能没啥问题。

但随着用户量的增长,用户的读数据请求和写数据请求都明显增多。

我们都知道数据库连接有限,一般是配置的空闲连接数是100-1000之间。如果多余1000的请求,就只能等待,就可能会出现接口超时的情况。

因此,我们有必要做数据库的读写分离。写数据请求访问主库,读数据请求访问从库,从库的数据通过binlog从主库同步过来。

根据不同的用户量,可以做一主一从,一主两从,或一主多从。

数据库读写分离之后,能够提升查询接口的性能。


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

bd5d634ad57375c875674535e7ab4998.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

e2ae066fa33c18bf3d30b6cf70969af7.png

61098f43fe9ee4534fb54bef3e7a79f7.png9296fff08846cf881261a40dedaf6dcd.png7cd06d773d92136669bfb810c52fe342.pnged178feff711107541725f9d939e063d.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
SpringBoot + Mybatis-puls + ClickHouse (分页查询、添加、修改、删除) 项目场景: ClickHouse 操作基于Mybatis-puls源码扩展开发。解决ClickHouse的修改和删除 SQL操作与Mysql不相同。 基于Mybatis-puls: update 、updateById 、 delete 函数 1、SqlMethodDiv.java文件枚举类,对sql脚本定义 package com.demo.infrastructure.injector.enums; /** * @author liuxiansong */ public enu... 阅读详情

相关推荐

JSP相册管理系统实战:文件上传、分页查询与避坑指南

文件上传与分页查询是Web开发中的基础技术,涉及请求编码、存储路径规划、数据库分页等核心原理。在JSP技术栈中,通过Servlet 3.0的Part接口实现文件上传,结合MySQL的LIMIT子句完成分页,能有效提升系统性能和用户体验。这些技术广泛应用于内容管理、电商展示等场景。本文以JSP相册管理系统为例,详细讲解文件上传、分页查询的实现细节,并分享Tomcat重启不丢图、中文文件名处理等实战避坑经验,帮助开发者快速构建可演示的课程设计项目。

weixin_30702441的博客 278

分页查询接口,从2s优化到了0.01s

???? 欢迎加入小哈的星球,你将获得:专属的项目实战 /1v1 提问/Java 学习路线 /学习打卡/每月赠书/社群讨论新项目:《从零手撸:仿小红书(微服务架构)》正在持续爆肝中,基于 Spring Cloud Alibaba + Spring Boot 3.x + JDK 17...,点击查看项目介绍;《从零手撸:前后端分离博客项目(全栈开发)》2期已完结,演示链接:http...

犬小哈 150

不使用pageHelper在java项目中巧妙实现clickhouse分页,方便快捷,两个页面实现,亲测可用

不使用pageHelper在java项目中巧妙实现clickhouse分页,方便快捷,两个页面实现,亲测可用

Mysql分页技术

1.使用mysql进行分页比较简单, 下面我结合查询条件来加以说明。这里我使用原生态JDBC进行查询,分页查询要用到以下SQL语句:    sql  = "select  * from sems_fractional_record  Limit "+(currentPage-1)*pageSize+", "+pageSize+" " Limit关键字后面接从第几个记录开始,然

haha_mingg的专栏 793

为知笔记 v4.13.15.0官方版

为您提供为知笔记下载,wiz(为知笔记)是一款基于互联网的个人知识管理软件产品;它以用户知识数据为核心,提供实用便捷的工具集;可以强制捕捉网页文档。是Cyberarticle的升级产品。该软件从2001年开始发展,到目前已经包括PC、MAC、Linux、iOS、Android等众多客户端,是国内在信息、知识管理方面应用移动互联网、云存储最成熟的产品之一。软件相关  世上没有的午餐,的东西多少有点不可靠,一个公司

Docker Desktop 在 Windows 上的安装和使用

WSL 指 “”,这是一个在 Windows 10\11 上能够运行原生 Linux 二进制可执行文件(ELF格式)的兼容层。它是由微软与Canonical公司合作开发的,旨在使纯正的Ubuntu、Debian等映像能下载和解压到用户的本地计算机,并且映像内的工具和实用工具能在此子系统上原生运行。这极大地拓展了Windows系统的功能,使用户能够在Windows环境中享受到Linux的强大功能。//Linux容器。

swadian2008的博客 6万+

clickhouse应用-数据分页并返回总数据量

clickhouse应用-数据分页并返回总数据量

xtsheng123456的博客 933

AVM环视算法实战:从3D碗型投影到多场景模式切换的实现与优化

本文深入探讨了AVM环视算法在3D碗型投影和多场景模式切换中的实现与优化。通过分析3D碗型投影的核心原理和动态视角调节技术,展示了如何实现从超广角模式到转向模式的无缝切换。文章还分享了性能优化实战经验,包括实时性提升和图像拼接质量优化,为开发者提供了宝贵的AVM系统开发指南。

weixin_42573113的博客 171

clickhouse的分页函数

clickhouse的分页函数

u011250186的博客 1738

神经算子:突破科学计算瓶颈的函数空间映射技术

神经算子(Neural Operators)是深度学习在科学计算领域的重要突破,它从根本上改变了处理连续物理问题的方式。与传统神经网络学习离散数据点映射不同,神经算子学习的是函数空间到函数空间的映射,这种范式转换使其具备离散化收敛性和超分辨率预测能力。在计算流体力学、天气预报等需要求解偏微分方程的场景中,神经算子能够在保持精度的同时将计算速度提升数个数量级。傅里叶神经算子(FNO)通过快速傅里叶变换实现高效计算,特别适合规则网格问题;而图神经算子(GNO)则擅长处理不规则网格和复杂几何形状。这种技术为参数敏

cuililai5127的博客 446

ComfyUI安装包运行前准备:安装Git

Git 是一个分布式版本控制系统(Version Control System, VCS),用于跟踪和管理文件(尤其是代码)的变更历史。 简单理解就是,git是用来管理文件的版本的,如果有新的版本,就可以使用git来更新。

聚梦小课堂 2万+

千万级数据表深分页查询优化:从 5秒 到 0.1秒

摘要:MySQL深度分页(LIMIT 100000,10)性能问题解析及解决方案。当查询大偏移量时,MySQL会扫描并丢弃大量数据,导致性能急剧下降。提出三种优化方案:1)延迟关联法,通过子查询先获取ID再关联原表,执行时间从5.23s降至0.15s;2)游标法,基于上一页最后记录定位,性能最优(0.01s),但不支持跳页;3)ID范围查询(适用特定场景)。压测显示游标法性能最稳定,延迟关联法平衡了功能与性能,建议复杂查询可引入Elasticsearch。

weixin_54644789的博客 959

第38节:cesium 风场效果(含源码+视频)

cesium 风场效果

qq_29384639的博客 2332

MySQL慢查询优化实战:从20秒到0.2秒的蜕变之路

最近在帮朋友公司排查生产环境性能问题,发现一个典型现象:80%的慢查询都是因为开发人员没掌握基础优化技巧!(特别是三年以下经验的程序员)今天我们就用真实案例,手把手教你如何驯服那些磨人的慢SQL。遇到卡点欢迎在评论区交流!下期预告:《MySQL索引设计的二十二条军规》不要盲目复制网上的配置模板!一定要根据实际内存大小调整。某电商平台订单查询接口频繁超时,原始SQL执行需要。[EXPLAIN结果示意图](此处用文字描述)

devstream8的博客 767

5分钟用AI搞定顶刊级引言!掌握三段式结构+避坑要点,让你的Introduction更有说服力(附提示词)

说明你是怎么来填补这个缺口的,一句话概括你的研究,再简述你采用了什么新方法、新模型或新视角,也就是创新点,最后说明你的方案是怎么克服第二段提到的缺口的,带来了哪些贡献,注意要确保方案与第二段提到的缺口一一对应。以上三段式引言模板,是非常经典的问题导向型结构,相比传统的结构,这种结构更能吸引是审稿人的注意,希望这篇分享的模板能给在你写论文引言时,提供一点帮助。上一段写好后,就在前人研究的基础上,亮出自己的方案,借助AI说明自己的研究,用了什么新方法/框架/理论/视角来填补这个缺口的。

智能AI让学术科研更容易 747

【数据结构与算法基础】05. 栈详解(C++ 实战)

本文介绍了栈(Stack)的基本概念、特点和应用场景。栈是一种遵循后进先出(LIFO)原则的线性数据结构,主要操作包括push、pop、peek等。文章详细讲解了顺序栈(基于数组)和链式栈(基于链表)两种实现方式,对比了它们的优缺点,并提供了完整的C++实现代码。栈广泛应用于函数调用、表达式求值、深度优先搜索等场景,是计算机科学中重要的基础数据结构。

yuhuasheng1997的博客 1281

慢SQL优化实战:从15秒到0.02秒的极限提速(真实案例拆解)

优化永无止境!优化永无止境!!优化永无止境!!!记住:没有最好的优化方案,只有最适合业务场景的解决方案。希望这篇凝聚真实血泪史的经验总结,能让你少踩坑多睡觉(程序员的睡眠太宝贵了)!

sitellla的博客 687

华为OD机试 - 素数之积 - 数学问题(Java 2025 A卷 100分)

每一题都有详细的答题思路、详细的代码注释、样例测试,发现新题目,随时更新,全天优快云在线答疑。

学Java,找哪吒 2134

PHP 性能优化实战:从 3s 到 300ms,我是怎么优化一个接口的?

我总结了一个PHP 接口优化 checklist✅ 先 profiling,再动手✅ 干掉 N+1(Eager Loading)✅ 检查索引(EXPLAIN)✅ 避免大 OFFSET 分页✅ 只查需要的字段✅ 合理使用缓存✅ 生产环境开 OPcache✅ 精简 JSON 返回结构✅ 减少循环内的 DB / IO 操作✅ 用 Cursor Pagination 替代传统分页性能优化不是“炫技”,而是用最小的成本解决最痛的问题。

2603_94941287的博客 238

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

万字长文!MySQL优化高频面试题全解析(附实战案例)

最近帮朋友突击面试准备的真实案例:某大厂二面时突然被问到"线上慢查询突然暴增怎么处理?(后来复盘发现这其实是个连环坑题)所以说,MySQL优化绝对是面试重灾区中的重灾区!先看一个血泪教训:某候选人简历写"精通SQL优化",结果被问到EXPLAIN的type字段含义时,居然说"这个字段不重要…(注:本文所有案例均来自真实生产环境,部分数据经过脱敏处理)重点关注5个字段(划重点!

papaquebec的博客 929

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Vector API接口:REST API和GraphQL接口深度解析

Vector作为高性能的可观测性数据管道工具,提供了强大的API接口来支持监控、管理和查询功能。本文将深入解析Vector的REST API和GraphQL接口,帮助开发者充分利用这些接口来构建自动化运维和监控系统。 ## API架构概览 Vector的API系统采用现代化的架构设计,主要包含以下核心组件: ```mermaid graph TD A[Vector API Serve...

gitblog_00381的博客 929

TDengine 2.2.0.0 与 MySQL 性能对比:1亿条时序数据聚合查询延迟实测

本文通过实测对比TDengine 2.2.0.0与MySQL在1亿条时序数据场景下的查询性能,结果显示TDengine在物联网数据处理中表现卓越,查询延迟比MySQL低1-2个数量级,特别适合高频采集的工业传感器数据和实时分析场景。

weixin_30621959的博客 393

J2EE基础:通用分页01

2. StringUtils.java这个类就是判断是否为空 3.EncodingFiter.java这个类就是过滤器 过滤器:就是把我们的字符编码集转成UTF-8,jsp默认的编码集是ISO-8859-1,这个就是我们编码集的作用 4.连接某个数据库的类 比如我现在连的是MySQL数据库 5.DBAccess.java这个类就根DBHelper一样的 第一步先要测试运行一下看能不能连接到mysql数据库,这样就说明没问题了 然后我们运行的结果为: 像我们之前写

weixin_67465673的博客 837

首屏加载速度深度优化指南:从原理到实战

当FCP超过3秒时,用户流失率增加53%;当LCP超过2.5秒,转化率下降7%。本文将深入解析首屏加载的20+优化方案,助你实现秒开体验。:每月使用Lighthouse审计,建立性能预算(如JS总量<300KB),将性能指标纳入CI/CD流水线自动检测。通过实施本文的深度优化方案,可使首屏加载速度提升3-5倍。记住:性能优化不是一次性工程,而是持续迭代的过程!Service Worker缓存。/* 内联首屏关键CSS */

我是 二川兄,对Web开发、GIS开发、3D模型、机器学习、面试技巧等方面都有一些涉猎~ 欢迎您加入技术交流圈!你可以在我的文章末尾找到我~ 894
上一篇: 现在刚入行的 Java 开发者已经不知道Tomcat了
下一篇: 马上金三银四,Java后端面试开始上难度了。。
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值