我同事一个 select 分页语句查出来了 3000W 条数据

原创于 2024-12-09 07:49:34 发布 · 1.1k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#java基础 #java

java基础进阶专栏收录该内容

115 篇文章

订阅专栏

作者简介：大家好，我是码炫码哥，前中兴通讯、美团架构师，现任某互联网公司CTO，兼职码炫课堂主讲源码系列专题

代表作：《jdk源码&多线程&高并发》，《深入tomcat源码解析》，《深入netty源码解析》，《深入dubbo源码解析》，《深入springboot源码解析》，《深入spring源码解析》，《深入redis源码解析》等

联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬

某天我正在工位上听着 Vicotry，愉快地敲着 hello world ，这感觉就像我写的代码能征服世界。突然运维给我打了一个电话，说我们某台服务器 OOM 了，要我过去看下，这感觉就像 xxx，你懂的。

去运维室、登录服务器、查看日志、....一顿操作猛如虎，看到一个 List 对象 600MB +（原谅我们服务器 low，运维比较小气，就给 1C2G 的服务器），检查当时的 SQL 语句，一看，我的乖乖，将近 4000w + 条数据。我的第一感觉就是，难道又是哪个业务在导出大批量数据？但是我们所有的 Excel 导出数据都做了校验，数据量大于 5w 条就后台分批次导出（所以有时候你要庆幸服务器 low，因为服务器 low，你就需要进行各种各样的优化，所有大数据量的操作都需要想办法优化，所以我们这个应用就有了各种有意思的骚操作，后面有机会分享下）。难道没有控制住？看了日志并没有发现大数据量的 Excel 导出，所以可以断定是分页的地方没有分页。看代码在一个 if 语句里面找到了坑，如下：

        PageHelper.startPage(queryDTO.getPage(), queryDTO.getLimit());
        
        Page<UserDTO> page;
        if (isWitchFlag()) {
            page = userMapper.selectUserList(queryDTO);
        }

isWitchFlag() :

            private boolean isWitchFlag() {
                String witchFlag = systemConfigMapper.selectSwitchFlag("key");
                return "1".equals(witchFlag);
            }

对 PageHelper 不是很熟悉的人一定不知道这个坑在哪里！在 PageHelper 使用文档（常见问题）中第一句就阐述了：

只有紧跟在 PageHelper.startPage 方法后的第一个 Mybatis 的查询（Select）方法会被分页。 。请注意关键词紧跟。为什么要紧跟呢？因为 PageHelper 的分页原理使用了 ThreadLocal，他的分页参数和线程是绑定在一起的，当我们执行 PageHelper.startPage() 语句时，他会将分页参数绑定到 ThreadLocal 中：

setLocalPage()：

在拦截器 PageInterceptor 中，最后的 finally 会将 Page 分页信息给 remove 掉：

所以，上面那段代码的分页信息被 if 语句中的 select 查询语句给消耗掉了，下面真正需要分页的语句当然就不会执行分页信息啦。怎么解决？两种方案：

治标不治本 ：将 PageHelper.startPage() 挪到 if 语句里面，让真正的查询语句紧挨着它。这种方案不治本的原因在于，如果又有小伙伴不知道这个坑，有可能又会踩。
治标治本 ：使用 Function Lamdba 表达式。

使用 Function Lamdba 来将 PageHelper.startPage() 与分页查询语句紧挨在一起，规避掉这个坑

首先我们需要定义一个 PageHelperTool，该 PageHelperTool 是封装了分页语句：

        @Builder
        public class PageHelperTool<P,R> {
            private final Function<P, Page<R>> pageFunction;
        
            public Page<R> getPageInfo(P request) {
                PageHelper.startPage(((PageRequest)request).getPage(),((PageRequest)request).getLimit());
                return pageFunction.apply(request);
            }
        }

然后将分页的地方全部替换为 PageHelperTool 就可以了：

                Page<UserDTO> page;
                if (isWitchFlag()) {
                    PageHelperTool<QueryDTO,UserDTO> pageHelperTool = PageHelperTool.<QueryDTO,UserDTO>builder()
                                                                    .pageFunction(userMapper::selectUserList)
                                                                    .build();
                    
                    page = pageHelperTool.getPageInfo(queryDTO);
                }

这样就可以彻底解决因误用 PageHelper 导致分页失效的问题了。

最后一句话： 注意看文档啊！！！！！！