MySQL 深度分页优化:从原理到实践

mysql数据库实现数据分页详解 在MySQL数据库中,实现数据分页通常使用LIMIT和OFFSET子句。这些子句使得查询结果可以分批返回,从而实现分页功能。在MySQL中实现分页有多种方法,每种方法都有其适用的场景和优缺点。选择哪种方法取决于具体的应用场景、数据量以及性能要求。在实际应用中,通常会根据需求选择最适合的分页方式,并在应用程序中集成分页逻辑,通过传递页码和每页记录数参数来动态生成SQL查询语句。 阅读详情
AI摘要

在 Java 开发中,MySQL 分页常见,但深度分页会引发性能问题。本文介绍了 MySQL 分页基础,分析了深度分页性能下降的原因,提出了减少回表、游标分页、借助其他技术(如 Redis 缓存、Elasticsearch)以及业务层面规避等优化方法,以提升深度分页性能。

目录

MySQL 深度分页优化:从原理到实践

一、MySQL 分页基础

二、深度分页性能问题

三、优化方法

(一)减少回表

(二)游标分页

(三)借助其他技术

(四)业务层面规避

四、总结


在 Java 开发中,MySQL 作为常用的业务数据库,分页场景极为常见。但当数据量庞大,涉及深度分页(如查询第 10 万条数据以后的分页)时,性能问题就会凸显。今天,我们就来深入探讨 MySQL 深度分页的优化方法,并结合代码示例,让大家更好地理解和应用。

一、MySQL 分页基础

MySQL 中常用LIMIT进行分页,基本语法为LIMIT [offset,] rows。offset表示偏移量,即从结果集的第几行开始返回;rows表示返回的行数。例如,查询第一页(每页 10 条数据):

SELECT * FROM your_table WHERE price > 50 LIMIT 0, 10;

这里LIMIT 0, 10等价于LIMIT 10,表示从第 1 条数据开始,返回 10 条数据。查询第二页则是:

SELECT * FROM your_table WHERE price > 50 LIMIT 10, 10;

即从第 11 条数据开始,返回 10 条数据。随着分页越往后,offset值越大,查询时扫描的数据量也越多,性能问题就逐渐暴露出来。

二、深度分页性能问题

当数据量达到几十万甚至更多,进行深度分页时,查询性能会急剧下降。例如,查询前几页数据可能仅需 5ms 左右,但查询第 10 万条数据以后的分页,耗时可能飙升到 700 多毫秒。这是因为随着offset增大,数据库需要扫描大量无关数据,然后抛弃前面不需要的部分,造成了资源的极大浪费。

三、优化方法

(一)减少回表

  1. 原理:在使用二级索引查询时,如果要查询所有字段,而部分字段在二级索引中不存在,就需要回到聚集索引(主键索引)获取剩余字段,这个回表过程会消耗大量性能。
  2. 优化方式:先从二级索引中查询出主键id,再通过主键索引查询完整数据。
  3. 代码示例:

-- 先从二级索引查询主键id,存入临时表
CREATE TEMPORARY TABLE temp_ids AS
SELECT id
FROM your_table
WHERE price > 50
ORDER BY id
LIMIT 10 OFFSET 100000;

-- 通过临时表与原表关联,查询完整数据
SELECT your_table.*
FROM your_table
         INNER JOIN temp_ids ON your_table.id = temp_ids.id;

-- 用完临时表后删除
DROP TEMPORARY TABLE temp_ids;

这种方式避免了大量回表操作,性能得到显著提升,原本 700 多毫秒的查询,优化后可能只需 90 多毫秒。

(二)游标分页

  1. 原理:利用唯一递增列(如自增主键id),通过记录上一页的最大id值,作为下一页查询的条件,减少扫描数据量。
  2. 代码示例:

-- 假设上一页最大id为max_id
SET @max_id = 104692;

-- 查询下一页数据
SELECT *
FROM your_table
WHERE price > 50
  AND id > @max_id
ORDER BY id
LIMIT 10;

这种方法让查询速度大幅提升,从原本 100 多毫秒缩短到 4ms 左右。但它依赖于唯一递增列,且每次查询需要记录上一页的最大id值。

(三)借助其他技术

  1. Redis 缓存:可以将分页数据缓存到 Redis 中。但深度分页时,由于数据变化频繁,缓存命中率可能不高。

import redis.clients.jedis.Jedis;

public class RedisPagination {
    public static void main(String[] args) {
        Jedis jedis = new Jedis("localhost", 6379);
        // 假设分页数据已序列化存储在Redis中,这里获取分页数据
        String pageData = jedis.get("page_100");
        if (pageData != null) {
            // 处理获取到的分页数据
            System.out.println("从Redis获取到分页数据: " + pageData);
        } else {
            // 从数据库查询并缓存到Redis
            // 此处省略数据库查询代码
            String newPageData = "查询到的分页数据";
            jedis.set("page_100", newPageData);
            System.out.println("从数据库获取并缓存到Redis: " + newPageData);
        }
        jedis.close();
    }
}

  1. Elasticsearch:如果项目中使用了 Elasticsearch 组件,可利用其强大的搜索和分页功能。Elasticsearch 适用于分布式搜索场景,能高效处理大规模数据的分页需求。

import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;

public class EsPagination {
    public static void main(String[] args) throws Exception {
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("localhost", 9200, "http")));

        SearchRequest searchRequest = new SearchRequest("your_index");
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        searchSourceBuilder.query(QueryBuilders.matchQuery("price", "gt:50"));
        // 设置分页参数,假设每页10条,查询第100页
        searchSourceBuilder.from(990).size(10);
        searchRequest.source(searchSourceBuilder);

        SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
        // 处理查询结果
        System.out.println(searchResponse.getHits());

        client.close();
    }
}

(四)业务层面规避

在很多业务场景下,用户很少会查看几十页甚至更多的数据。因此,可以在业务层面进行限制,比如最多展示几百页数据。以电商平台为例,用户通常不会翻到几万页去浏览商品,展示几百页足以满足需求。这样既避免了深度分页带来的性能问题,又符合用户实际使用习惯。

四、总结

MySQL 深度分页优化是一个综合性的问题,需要从数据库层面、代码层面以及业务层面多管齐下。通过减少回表、游标分页、借助其他技术以及业务限制等方法,可以有效提升深度分页的性能,为用户提供更流畅的体验。在实际开发中,要根据项目的具体情况选择合适的优化方案,确保系统的高效稳定运行。希望本文的内容能帮助大家在 Java 开发中更好地应对 MySQL 深度分页问题,记得关注我,获取更多实用干货知识。

Mysql 数据库中怎么实现分页 的性能会随着偏移量的增加而变得更差,因为它需要跳过指定数量的行。在处理大数据集时,可能需要考虑使用其他优化方法,例如基于游标的分页查询。在计算偏移量时,我们将页数减去 1,以得到正确的偏移量。另外,为了确保分页查询的结果是按照期望的顺序返回,通常需要在查询中包含适当的排序条件,例如使用。使用这个公式,可以将它应用到查询中,以获取特定页的数据。上述查询将返回从第 21 行开始的 10 条记录,即第 3 页的数据。这将返回结果集中第 21 行到第 30 行的数据。是结果集的偏移量,表示从第几行开始返回结果, 阅读详情

相关推荐

MySQL中深度分页问题的优化

深度分页问题是MySQL中一个常见的性能问题,通过起始ID定位法和索引覆盖+子查询的方法可以有效优化查询速度。选择哪种优化手段取决于具体的业务场景和查询需求。了解这些优化技巧可以帮助我们提高数据库查询的性能,尤其是在处理大量数据时。通过合理的优化,我们可以确保应用即使在数据量增长时也能保持响应迅速。在实际应用中,可能需要根据具体的情况综合使用多种优化手段。例如,在处理非常大的数据量时,可以同时使用更快的存储引擎、增加服务器资源、优化索引、限制分页窗口和采用缓存策略等方法,以达到最佳的性能效果。

2401_85373732的博客 1709

MySQL深度分页优化

Mysql深度分页优化 1. 背景 mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。 例如:select * 的情况下直接⽤limit 600000,10 扫描的是约60万条数据,并且是需要回表 60W次,也就是说⼤部分性能都耗在随机访问上,到头来只⽤到10条数据(总共取600010条数据只留10条记录) 2. 优化 2.1 业务层面限制跨度比较大的跳页 百度和Google方案: [外链图片转存失败,源站可能有防盗链机制,

JavaMa的博客 7067

MySQL调优系列之从索引设计到执行计划深度解析

MySQL查询优化核心要点 本文系统讲解MySQL查询优化技术,涵盖以下核心内容: 优化原理:解析MySQL查询执行流程和优化器工作原理,强调成本模型决策机制 索引技术: 深入剖析B+树索引结构特点 详解6种索引类型及适用场景 提出索引选择性计算公式和创建原则 列举6类常见索引失效场景 执行计划分析: 详解EXPLAIN命令12个输出列含义 深度解析type列7种访问类型性能差异 解读Extra列关键信息对性能的影响 实战案例:通过电商商品查询和用户搜索两个典型场景,演示优化思路和具体实施步骤 全文提供可落

专注于编程、AI、人工智能等多个领域内容研究和分析 255

MySQL的分页你还在使劲的limit?

然后再用这100个id去跟t1表做id匹配,此时走的是主键索引,将匹配到的100条行数据返回。当然,这种写法存在一定问题,如果第0页的id=5的数据被删除了,就会导致查询第0页的数据和第1页的数据有重合,第0页是1-4,6-11(默认一页10条数据,因为limit10,所以会查询到id=11),第二页就是11-20,可见id=11重合了。但不同的地方在于,在返回server层的过程中,只会拷贝数据行内的id这一列,而不会拷贝数据行的所有列,当数据量较大时,这部分的耗时还是比较明显的。...

我惠依旧的博客 1万+

【Java踩坑笔记】43_LIMIT大偏移量慢查询,你的分页写法过时了

/ ❌ 前端传 pageNum=10000,后端直接 LIMIT现象:pageNum 越大,查询越慢。-- ✅ WHERE id > lastId(走主键索引,O(1))// ✅ 前端/App 翻页用这个方案。

gaochufukanyongren的博客 304

STM32F4串口接收ATGM336H GPS数据,手把手教你解析NMEA协议并转换经纬度格式

本文详细介绍了如何使用STM32F4开发板通过串口接收ATGM336H GPS模块的NMEA协议数据,并解析GNRMC语句获取经纬度信息。内容涵盖硬件连接、NMEA协议深度解析、数据校验实现以及经纬度格式转换的数学原理与代码实现,为嵌入式开发者提供完整的GPS数据处理解决方案。

weixin_42522575的博客 499

[知识补全计划]MySQL分页查询优化之延迟查询

是数据库查询优化中的一种技术,主要用于解决分页查询(尤其是深度分页)的性能问题,通过减少回表操作和扫描数据量来提升效率。,利用覆盖索引先定位目标行的主键,再通过主键回表获取完整数据。

m0_73762612的博客 1881

【Excel VBA 编程】批量核对两张表格数据,行和列显示顺序均被打乱

利用数据字典在 Excel 中进行表格数据的核对,该表格含有多行多列,并且行和列顺序是打乱的,批量核对数据后将差异输出

wei1019的专栏 1293

MyBatis分页插件PageHelper原理与实践指南

数据库分页是Web开发中的基础技术需求,其核心原理是通过SQL的LIMIT/OFFSET或ROWNUM等语法实现数据分段查询。MyBatis作为Java生态主流ORM框架,通过PageHelper插件以拦截器机制自动改写SQL语句,显著降低了分页功能开发复杂度。该插件支持MySQL、Oracle等多种数据库方言,与Spring Boot深度集成,在电商订单分页、管理系统表格展示等场景广泛应用。针对大数据量分页场景,需要注意避免全表扫描等性能问题,合理使用基于索引的条件分页等优化手段。PageHelper作为

weixin_30245867的博客 430

抄表程序员的DLMS/COSEM协议实战:从抓包到解析,手把手教你读懂IEC62056报文

本文深入解析DLMS/COSEM协议在智能电表通信中的应用,从报文捕获到数据解析的全流程实战指南。涵盖HDLC帧解析、应用层连接建立、数据请求/响应解码等核心内容,并提供Wireshark配置、OBIS代码速查表等实用工具,帮助开发者快速掌握IEC62056标准下的电能表通信技术。

weixin_29178069的博客 302

OpenClaw对接本地大模型:Llama3/Qwen/ChatGLM全适配,完全私有化部署

OpenClaw对接本地大模型,是企业级AI智能体落地的必经之路——它不仅解决了数据隐私和合规问题,还能大幅降低成本、提升响应速度、实现定制化。这篇文章我给大家完整拆解了两套部署方案:Ollama(新手首选,5分钟搞定)和vLLM(生产环境首选,高性能),覆盖了Llama3/Qwen/ChatGLM三大主流模型,还有真实的落地案例、高级优化、踩坑避坑指南,看完你就能零代码完成完全私有化的部署。从零开发自定义工具,给OpenClaw添加专属业务能力;

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 809

MySQL深度分页慢如蜗牛?延迟关联与游标分页实战优化

分页查询是数据库开发中的高频操作,但常见LIMIT/OFFSET在偏移量增大时,会引发严重的性能问题。其根源在于数据库必须扫描并丢弃大量无关行,加上ORDER BY排序与回表操作,导致慢查询频发,甚至拖垮CPU与缓冲池。本文从索引工作原理出发,深入剖析深度分页的代价,对比延迟关联与游标分页两种主流优化方案,并演示如何借助覆盖索引和联合索引设计来稳定分页性能。对于后端工程师和DBA,在构建高并发列表接口或处理大数据量场景时,掌握这些优化技巧能显著提升数据库吞吐量。

weixin_30843121的博客 255

TIM 2024 | AD-YOLO:一种结合 Swin Transformer 和注意力机制的实时 YOLO 网络用于机场场景检测

实时获取机场场景信息对于保障机场安全和提升机场运营效率至关重要。然而,机场场景图像中的人员和车辆目标尺寸较小,而且公开的机场数据不足,这使得机场物体检测成为一项颇具挑战的任务,难以同时实现高精度和实时检测。本文提出了一种全新的机场物体检测方法——机场检测器YOLO(AD - YOLO),它融合了改进的你只看一次(YOLO)算法、Swin Transformer和注意力机制的优势,以应对这一挑战。

小白学视觉 315

MySQL经典100问

目录 常规篇 1、说一下数据库的三大范式?? 2、只查询一条数据,但是也执行非常慢,原因一般有哪些? 3、count(*)、count(0)、count(id)实现方式的区别? 4、误删数据怎么办? 5、drop、truncate 和 delete 的区别 6、MySQL大表查询为什么不会爆内存? 7、深度分页(超大分页)怎么处理? 8、日常开发中你是怎么优化SQL的? 9、MySQL 的并发连接与并发查询什么区别? 10、MySQL更新字段值为原来的值内部是怎么操作呢? 11、datetime和times

shuux666的博客 4736

[deprecated]第二章:DRM 框架概述:2.2 GEM显存管理概述

本文深入分析了Linux DRM子系统中GEM(Graphics Execution Manager)的显存管理机制。GEM通过核心数据结构drm_gem_object抽象显存buffer,结合drm_vma_offset_manager和drm_mm实现高效的地址空间分配与管理。该系统支持显存动态分配/回收、用户空间mmap映射、多进程访问隔离和跨设备共享等关键功能,并通过引用计数和同步机制确保并发安全。

图形/计算GPU的驱动与虚拟化技术分享园地 2547

【ESP32设备通信】-LoRaWAN网关

在物联网 (IoT) 时代,连接设备和收集数据变得比以往任何时候都更加容易和重要。 LoRaWAN(远程广域网)技术已成为远程、低功耗物联网通信的强大解决方案。 在本教程中,我们将使用 ESp32 构建 LoRaWAN 网关电路,并使用 ESP32 和 BME280 传感器构建传感器节点电路。 对于这两个电路,我们将使用基于 SX1278 (Ra-02) LoRa 模块在设备之间进行无线通信。 我们还将向您展示如何将传感器数据传输到流行的物联网平台 ThingSpeak。

视觉与物联智能 1588

MySQL索引优化实战:从原理到执行计划的深度调优指南

通过本文的深度优化实践,可使典型查询性能提升10-100倍。但要特别注意:索引维护成本:每增加一个索引,写操作性能下降约5-7%数据冷热分离:对历史数据采用分区表策略定期执行索引健康检查(推荐每周一次)未来可关注向量索引、AI索引调优等前沿技术方向。

一碗黄焖鸡三碗米饭的博客 656

数据挖掘实战-基于LSTM时间序列模型的香烟销售预测分析

本文介绍了基于LSTM时间序列模型的香烟销售预测分析实验。实验背景为烟草市场竞争激烈,企业需提高销售预测准确性以优化生产、库存和营销策略。LSTM模型因其处理长序列数据的能力被选为预测工具。实验步骤包括数据准备、特征工程、模型构建、训练与评估及结果分析。数据集来自某市门店的销售数据,技术工具为Python 3.9和Jupyter Notebook。实验过程涵盖数据导入、预处理、产品销售与区域销售分析、销售预测(包括销售额、销量、利润及海通店销售额预测)。

m0_64336780的博客 8955

MySQL 查询优化实战指南:从原理到场景,打造高性能数据库应用

本文系统梳理了MySQL查询优化的核心原理与实战技巧,重点涵盖执行计划解读、索引设计与SQL优化方法。通过分析B+Tree索引结构、聚簇索引与二级索引原理,深入讲解覆盖索引、最左前缀原则等关键概念。针对常见性能问题如深度分页、JOIN效率、排序分组等提供具体优化方案,并介绍MySQL8.0的新特性如HashJoin、窗口函数等。文章强调优化闭环方法论,提出索引设计决策树和持续监控建议,为开发者提供从原理到实践的完整性能优化指南。所有示例基于MySQL8.0+InnoDB存储引擎,具有直接可操作性。

油墨香^-^的博客 557

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

MySQL索引底层B+树原理与优化实践

数据库索引是提升查询性能的核心技术,其本质是通过特定数据结构加速数据检索。B+树作为现代数据库的主流索引结构,通过多路平衡查找实现O(log n)时间复杂度,同时支持高效的范围查询和排序操作。在存储层面,B+树将数据集中在叶子节点并通过指针连接,这种设计完美契合磁盘I/O特性,使得百万级数据查询仅需3-4次I/O操作。在MySQL的InnoDB引擎中,B+树索引实现了聚簇索引、覆盖索引等高级特性,并通过最左前缀原则、索引选择性等机制优化查询。实际工程中,合理的索引设计能使查询性能提升50倍以上,特别是在电商

weixin_26763955的博客 295

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

全栈偏后端必备知识点扫盲个人向(四)

Redis实现分布式锁需满足互斥性、避免死锁等核心要求,可通过SET NX PX命令加锁,配合Lua脚本安全释放锁。MySQL深度分页问题可通过游标分页或延迟关联优化。SpringBoot启动流程包括创建实例、准备环境、刷新上下文等步骤,最终返回应用上下文。分布式锁还需注意原子性、误释放等问题,建议使用Redlock算法或自动续期机制保障可靠性。

newbie_fight的博客 652

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Java面试素材:我解决过因分页过深而导致的性能问题

在Java面试中,除了说项目经历外,通过说明自己解决过的问题,是证明自己能力的最好方法。本文给出的这个素材,适用用应届生和Java初级开发,当然由于涉及到了性能问题,所以哪怕去应聘资深开发或架构的职位,也可以通过说这个素材来证明自己的能力。

fuladulu的博客 320

Mysql面试题

问题解析:最左匹配原则通常指的是索引的匹配方式:当查询语句中有多个条件,并且这些条件可以使用索引进行匹配时,数据库系统会使用最左匹配原则来选择最适合的索引进行查询。举个例子:比如有这样的联合索引(column1,column2),如果查询语言的条件是这样的形式:条件 column1=1 AND column2=2;但是in和=这两个操作符允许乱序匹配;再比如:(a,b,c) select * from t where c=1 and a=1 and b=1,那么。

黑冰[̲̅V̲̅I̲̅P̅] 880

后端进阶-性能优化

若必须写入 MySQL:先写到中间分布式写入层(如 TiDB/TiKV/Cockroach),或用分布式 Loader(mydumper/loader 风格),并最终建立索引。分割:分块读入(每次读不超过 4G 的可用内存,比如 100MB 块),在内存里排序(快速排序/堆排序),输出到磁盘生成若干有序小文件(runs)。在 pt-online-schema-change 可配置 --max-load、--critical-load、--chunk-size 等参数。

m0_62237233的博客 1263

MyBatis从CRUD到性能优化:动态SQL、缓存与分页实战

在Java服务端开发中,ORM框架负责衔接业务逻辑与数据库访问,MyBatis凭借灵活的SQL控制成为主流之选。其核心原理在于SqlSession生命周期管理、Mapper动态代理以及动态SQL的解析机制,帮助开发者从繁琐的JDBC样板代码中解放出来。然而实际工程中,查询性能往往受制于N+1查询、批量写入效率、深分页延迟以及缓存一致性等问题。通过理解MyBatis的一级缓存与二级缓存差异、合理运用foreach批量插入和JOIN查询、优化LIMIT深翻页SQL,可以显著提升数据库响应速度。这些优化手段在用户

weixin_34199764的博客 278

MySQL之优化

前缀索引优化:使用前缀索引是为了减小索引字段大小,可以增加一个索引页中存储的索引值,有效提高索引的查询速度。在一些大字符串的字段作为索引时,使用前缀索引可以帮助我们减小索引项的大小。覆盖索引优化:覆盖索引是指 SQL 中 query 的所有字段,在索引 B+Tree 的叶子节点上都能找得到的那些索引,从二级索引中查询得到记录,而不需要通过聚簇索引查询获得,可以避免回表的操作。主键索引锁好是自增:InnoDB 创建主键索引默认为聚簇索引,数据被存放在了 B+Tree 的叶子节点上。也就是说,同一个叶子节点内的

2302_81141145的博客 319
上一篇: 探秘 InnoDB:为何索引钟情于 B + 树而非跳表
下一篇: 书签分页:解决深度分页性能问题的有效方案
阿贾克斯的黎明
博客等级 码龄6年 1万+粉丝 4118原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值