MySQL的10种高级SQL,性能飞升

MySQL数据库 --- 高级篇 大家可能没有听说过存储引擎,但是一定听过引擎这个词,引擎就是发动机,是一个机器的核心组件。比如,对于舰载机、直升机、火箭来说,他们都有各自的引擎,是他们最为核心的组件。而我们在选择引擎的时候,需要在合适的场景,选择合适的存储引擎,就像在直升机上,我们不能选择舰载机的引擎一样。而对于存储引擎,也是一样,他是mysql数据库的核心,我们也需要在合适的场景选择合适的存储引擎。接下来就来介绍一下存储引擎。存储引擎就是存储数据、建立索引、更新/查询数据等技术的实现方式。 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

👉这是一个或许对你有用的开源项目

国产Star破10w的开源项目,前端包括管理后台、微信小程序,后端支持单体、微服务架构

RBAC权限、数据权限、SaaS多租户、商城、支付、工作流、大屏报表、ERP、CRM、AI大模型、IoT物联网等功能:

  • 多模块:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • 微服务:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK17/21+SpringBoot3、JDK8/11+Spring Boot2双版本 

来源:苏三说技术


前言

很多小伙伴在工作中,可能只把MySQL当作一个简单的“数据存储箱”,用了它80%的基础功能,却不知道它还有另外20%的、能解决90%复杂问题的“高级用法”。

今天,我不谈基础的增删改查,就和你深入聊聊,在实际高性能、高并发、大数据量的场景下,那些真正能让你和团队生产力倍增、性能飞升的10种MySQL高级实战技巧。

希望对你会有所帮助。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

01 执行计划

在优化任何查询之前,读懂EXPLAIN的输出是你的第一门必修课 。

它就像SQL的“X光片”,能告诉你MySQL究竟打算如何执行你的查询,瓶颈在哪里。

核心用法与实战

执行EXPLAIN后,你需要重点关注以下几个关键字段:

  • type :访问类型,从最优到最差大致是:system > const > eq_ref > ref > range > index > ALL。看到ALL(全表扫描)就要警惕了。

  • key :实际使用的索引。如果为NULL,说明没用上索引。

  • rows :MySQL预估要扫描的行数。这个数字越接近实际需要的数据行数越好。

  • Extra :包含非常丰富的信息,例如Using filesort(需要额外排序)、Using temporary(使用了临时表),这通常是性能杀手。

-- 一个需要优化的查询示例
        EXPLAIN
        SELECT * FROM orders
        WHERE user_id = 10086
        AND create_time BETWEEN '2024-01-01' AND '2024-01-31'
        ORDER BY amount DESC;

假设这个查询的type是ALL,key是NULL。这意味着它在orders表上进行了全表扫描,性能极差。优化方法通常是创建一个复合索引:

-- 创建覆盖了WHERE和ORDER BY的复合索引
        CREATE INDEX idx_user_time_amount ON orders(user_id, create_time, amount);
        -- 再次使用EXPLAIN,你会看到type变成了range,key显示了新索引,性能天差地别。

深度剖析 :EXPLAIN是基于表的统计信息来估算成本的。如果表数据变化很大而统计信息未更新,优化器可能会选错索引。

这时,可以用ANALYZE TABLE table_name;来手动更新统计信息。

有些小伙伴在工作中写的SQL本身不复杂,但执行很慢,第一步就应该祭出EXPLAIN。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

02 高级索引策略

索引是性能的基石,但错误的索引比没有索引更糟糕。

高级索引策略
  1. 覆盖索引(Covering Index) :如果索引包含了查询需要的所有字段,引擎就无需回表查询数据行,速度极快。

-- 假设常用查询是获取用户的姓名和邮箱
        SELECT name, email FROM users WHERE age > 20;
        -- 为这个查询设计覆盖索引
        CREATE INDEX idx_age_name_email ON users(age, name, email);
        -- age用于查询,name和email本身就在索引页中,无需查找数据行。
  1. 索引下推(Index Condition Pushdown, ICP) :这是MySQL 5.6引入的重大优化。对于复合索引(a, b),查询WHERE a = ? AND b LIKE ‘%xxx’。在旧版本中,即使a命中了索引,引擎也会将所有a=?的记录回表,再去过滤b。而ICP允许将b LIKE ‘%xxx’这个条件下推到存储引擎层,在索引扫描时就过滤,大大减少回表次数。

  2. 前缀索引(Prefix Index) :对于超长文本字段(如VARCHAR(500)),为整个字段建索引非常臃肿。可以只对前N个字符建立索引,在空间和效率间取得平衡。

-- 为content字段前100个字符创建索引
        CREATE INDEX idx_content_prefix ON articles (content(100));
        -- 缺点是前缀索引无法用于GROUP BY和ORDER BY操作。

深度剖析 :索引是一把双刃剑,加速查询的同时,会降低写操作(INSERT/UPDATE/DELETE)的速度,因为索引树也需要维护。

一个表上创建十几个索引是常见的设计误区。

你需要定期使用SHOW INDEX FROM table_name;审查索引的基数(Cardinality,唯一值数量),删除使用率极低的冗余索引。

03 窗口函数

这是MySQL 8.0带来的“神兵利器”,用于进行跨行计算 ,完美解决复杂排名、累加、移动平均等问题。

核心场景与语法
-- 经典场景:计算每个部门内员工的薪水排名
        SELECT
        name,
        department,
        salary,
        RANK() OVER (PARTITIONBY department ORDERBY salary DESC) as dept_salary_rank,
        -- 同时计算公司整体排名
        RANK() OVER (ORDERBY salary DESC) as company_rank,
        -- 计算部门内薪水累计占比
        SUM(salary) OVER (PARTITIONBY department) as dept_total,
        salary / SUM(salary) OVER (PARTITIONBY department) as salary_ratio
        FROM employees;

PARTITION BY类似于GROUP BY,但不会将行合并,而是定义窗口范围。

ORDER BY决定窗口内的排序。

深度剖析 :在MySQL 8.0之前,要实现上述查询,你需要写复杂的自连接或效率极低的子查询。窗口函数在数据库内部进行了深度优化,性能提升可达几个数量级。

它特别适用于分析报表、实时排行榜、计算同比环比 等OLAP型场景。

04 通用表表达式(CTE)

CTE(WITH子句)是另一个MySQL 8.0的重要特性,它允许你定义临时的命名结果集 ,在后续查询中像普通表一样引用。

优势与示例
  1. 提升可读性 :将复杂查询分解成逻辑清晰的步骤。

  2. 支持递归 :这是CTE的杀手级功能,可以轻松查询树形或图状数据。

-- 示例1:分解复杂查询(非递归)
        WITH
        high_value_orders AS ( -- 找出高价值订单
        SELECT user_id, SUM(amount) as total_spent
        FROM orders
        WHEREstatus = 'completed'
        GROUPBY user_id
        HAVING total_spent > 10000
        ),
        active_users AS ( -- 找出活跃用户
        SELECTDISTINCT user_id
        FROM user_logs
        WHERE last_active_date > DATE_SUB(NOW(), INTERVAL30DAY)
        )
        -- 最终查询:既是高价值又是活跃的用户
        SELECT u.name, u.email, h.total_spent
        FROMusers u
        JOIN high_value_orders h ON u.id = h.user_id
        JOIN active_users a ON u.id = a.user_id;

        -- 示例2:递归CTE,查询部门树
        WITHRECURSIVE department_tree AS (
        -- 锚点:找到根部门
        SELECTid, name, parent_id, 1aslevel
        FROM departments
        WHERE parent_id ISNULL
        UNIONALL
        -- 递归成员:连接父部门和子部门
        SELECT d.id, d.name, d.parent_id, dt.level + 1
        FROM departments d
        INNERJOIN department_tree dt ON d.parent_id = dt.id
        )
        SELECT * FROM department_tree ORDERBYlevel, id;

深度剖析 :递归CTE极大地简化了组织架构、分类目录、评论嵌套 等层次数据的查询。

在旧版本中,这通常需要在应用层进行多次查询或在数据库中使用存储过程,递归CTE在数据库内核完成遍历,效率更高。

05 JSON类型与函数

MySQL 5.7+原生支持JSON数据类型,让你能够在关系型数据库中灵活地存储和查询半结构化数据,这在处理动态字段、配置信息或第三方API返回的数据 时非常有用。

核心操作
-- 1. 创建包含JSON列的表
        CREATETABLE products (
        idINT PRIMARY KEY,
        nameVARCHAR(100),
        attributesJSONCOMMENT'存储颜色、尺寸等动态属性'
        );

        -- 2. 插入JSON数据
        INSERTINTO products VALUES (1, 'T-Shirt', '{"color": "red", "size": ["M", "L"], "tags": ["casual", "cotton"]}');

        -- 3. 查询 (使用 -> 和 ->> 操作符)
        -- -> 返回JSON类型, ->> 返回纯文本字符串
        SELECT
        name,
        attributes->>'$.color'as color, -- 提取color值
        attributes->'$.size'as size_array -- 提取size数组(仍为JSON)
        FROM products
        WHEREattributes->>'$.color' = 'red'
        OR JSON_CONTAINS(attributes->'$.tags', '"cotton"');

        -- 4. 更新部分JSON
        UPDATE products
        SETattributes = JSON_SET(attributes, '$.color', 'blue', '$.new_field', 'value')
        WHEREid = 1;

深度剖析 :JSON列同样可以建立索引(通过函数索引),加速查询。

CREATE INDEX idx_color ON products( (attributes->>'$.color') );

这允许你在保持灵活性的同时,不丧失对关键字段的查询性能。

它完美填补了关系模型在应对多变业务需求 时的短板。

06 分区表(Partitioning)

当单表数据量巨大(如数亿行)时,分区可以将一张大表在物理上分割为多个更小、更易管理的部分,而逻辑上仍是一张表。

分区策略与示例
-- 按时间范围(RANGE)分区,非常适合日志、订单表
        CREATETABLE sales (
        idINT,
        sale_date DATE,
        amount DECIMAL(10,2)
        )
        PARTITIONBYRANGECOLUMNS(sale_date) (
        PARTITION p2023q1 VALUESLESSTHAN ('2023-04-01'),
        PARTITION p2023q2 VALUESLESSTHAN ('2023-07-01'),
        PARTITION p2023q3 VALUESLESSTHAN ('2023-10-01'),
        PARTITION p2023q4 VALUESLESSTHAN ('2024-01-01'),
        PARTITION p_future VALUESLESSTHAN MAXVALUE
        );

        -- 查询时,优化器会自动定位到特定分区(分区裁剪,Partition Pruning)
        EXPLAINSELECT * FROM sales WHERE sale_date = '2023-05-15';
        -- 你会看到partitions: p2023q2,意味着只扫描了2023年Q2的分区。

除了RANGE,还有LIST(按列表值)、HASH(按哈希值均匀分布)等分区方式。

深度剖析 :分区的核心优势在于维护性 和查询性能 。

你可以快速删除或归档整个旧分区(ALTER TABLE sales DROP PARTITION p2023q1;),这比DELETE操作快得多,且不产生碎片。对于按分区键过滤的查询,性能提升显著。

但注意,分区键选择不当或跨分区查询,性能可能反而下降。

07 连接(JOIN)与子查询

多表关联是业务常态,但写得不好就是性能灾难。

高级技巧
  1. 控制连接顺序 :MySQL优化器通常会选择它认为最佳的顺序,但你可以在复杂场景下用STRAIGHT_JOIN强制指定顺序。

SELECT ...
        FROM small_table s
        STRAIGHT_JOIN large_table l ON s.id = l.s_id; -- 强制先查小表
  1. 利用衍生表(Derived Table)下推条件 :有时将子查询或过滤条件提前,能极大地减少中间结果集。

-- 优化前:先连接两个大表,再过滤
        SELECT * FROM A JOIN B ON A.id = B.aid WHERE A.create_time > '...';

        -- 优化后:先过滤A表,再连接
        SELECT * FROM (SELECT * FROM A WHERE create_time > '...') filtered_A
        JOIN B ON filtered_A.id = B.aid;
  1. EXISTS vs IN :对于“是否存在”的查询,特别是子查询结果集较大时,EXISTS(关联子查询)通常比IN(非关联子查询)性能更好,因为它找到第一个匹配项就会停止。

深度剖析 :所有的JOIN优化,其核心思想都是 “尽早过滤,减少中间数据量” 。熟练使用EXPLAIN查看连接类型(如eq_ref很好,Using join buffer说明可能需要索引)是关键。

08 用户自定义变量

MySQL允许你定义用户变量(如@rank),这在一些需要跨行计算或记录中间状态 的分析中非常有用。

实战案例:计算行间差值
-- 计算每日销售额的日环比增长率
        SELECT
        sale_date,
        daily_amount,
        -- 使用变量记录前一天的值
@prev_amount as prev_day_amount,
        ROUND( (daily_amount - @prev_amount) / @prev_amount * 100, 2) as growth_rate,
        -- 将当前值赋给变量,供下一行使用
@prev_amount := daily_amount
        FROM
        daily_sales_summary,
        (SELECT @prev_amount := 0) init -- 初始化变量
        ORDERBY sale_date;

深度剖析 :用户变量提供了过程式编程的能力,可以模拟窗口函数的部分功能(在MySQL 8.0之前)。

但它不是SQL标准 ,执行顺序有时反直觉,需谨慎使用。

在复杂的会话或事务中,变量的生命周期和作用域也需要仔细考量。

09 在线DDL与无锁变更

在业务7x24小时运行的时代,给大表加字段、改索引再也不能随意停服务了。

MySQL 5.6+提供了ALGORITHM和LOCK选项,实现在线DDL (Online Data Definition)。

安全操作指南
-- 添加一个可为空且有默认值的新列,使用INPLACE算法和尽量低的锁级别
        ALTERTABLE huge_table
        ADDCOLUMN new_column VARCHAR(100) DEFAULT''NOTNULL,
        ALGORITHM=INPLACE, -- 尽量使用INPLACE(原地重建),避免COPY(锁表复制)
        LOCK=NONE; -- 目标:不加锁,或共享锁

        -- 修改列类型(某些情况需要COPY,会锁表)
        ALTERTABLE huge_table
        MODIFYCOLUMN old_column BIGINT,
        ALGORITHM=COPY, -- 注意:这里可能必须用COPY
        LOCK=SHARED;

深度剖析 :ALGORITHM=INPLACE意味着大部分工作(如重建索引)在引擎内部完成,允许并发DML操作。

而ALGORITHM=COPY会创建新表并复制数据,全程锁表。

执行前务必用ALGORITHM=DEFAULT先测试一下。

pt-online-schema-change 是Percona提供的第三方工具,通过触发器实现真正的全程无锁,是更稳妥的选择。

10 利用生成列与函数索引

生成列的值由表中其他列计算而来,可分为虚拟列(VIRTUAL,不存储,读取时计算)和存储列(STORED,持久化存储) 。

这为建立高效的函数索引铺平了道路。

应用场景
-- 场景:经常需要根据 `first_name` 和 `last_name` 进行全名搜索
        ALTERTABLEusers
        ADDCOLUMN full_name VARCHAR(255)
        GENERATEDALWAYSAS (CONCAT(first_name, ' ', last_name)) STORED, -- 创建存储的生成列
        ADDINDEX idx_full_name (full_name); -- 在生成列上建立索引

        -- 现在,以下查询可以高效使用索引
        SELECT * FROMusersWHERE full_name = 'John Doe';

深度剖析 :这解决了直接在表达式(如CONCAT(first_name, ‘ ‘, last_name))上建立函数索引的难题。

虚拟列节省空间但增加CPU计算开销;存储列反之。

总结:从“会用”到“精通”的跃迁

好了,一口气聊了11个MySQL的高级用法。让我们最后再梳理一下,这些技巧并非孤立存在,它们构成了一个应对不同场景挑战的工具箱。

高级用法

核心解决痛点

推荐适用场景

执行计划(EXPLAIN)

性能瓶颈可视化

所有

 慢查询优化前的第一步

高级索引策略

查询速度慢,写操作重

高频查询、大表性能优化

窗口函数(Window)

复杂跨行计算效率低

排行榜、数据分析、报表

通用表表达式(CTE)

复杂SQL难读写,树查询难

复杂业务逻辑拆分,层次数据查询

JSON类型

动态、半结构化数据存储与查询

配置、动态属性、API数据存储

分区表

超大表维护难,历史数据清理慢

时间序列数据(日志、订单)

JOIN/子查询优化

多表关联性能低下

涉及多个业务实体的复杂查询

用户自定义变量

需行间计算或状态保持(8.0前)

自定义序列、差值计算(有窗口函数后优先级降低)

在线DDL

业务不中断变更表结构

7x24小时系统表结构变更

生成列/函数索引

无法直接对表达式建索引

基于JSON字段、计算字段的高效查询

有些小伙伴在工作中可能会有这样的疑问:“我知道它们好,但该从哪里开始学起呢?”

我的建议是:从EXPLAIN和索引优化开始 。

这是性能问题的根本。

然后,根据你的业务需求,引入窗口函数或CTE来简化复杂查询。当数据量上来后,考虑分区。

对于动态数据结构,尝试JSON类型。


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
MySQL高级(三)MySQL的体系结构和存储引擎 MySQL的体系结构和存储引擎1 MySQL的体系结构2 存储引擎2.1 存储引擎概述2.2 存储引擎特性2.2.1 InnoDB 引擎 1 MySQL的体系结构 1) 连接层   最上层是一些客户端和链接服务,包含本地sock 通信和大多数基于客户端/服务端工具实现的类似于 TCP/IP的通信。主要完成一些类似于连接处理、授权认证、及相关的安全方案。在该层上引入了线程池的概念,为通过认证安全接入的客户端提供线程。同样在该层上可以实现基于SSL的安全链接。服务器也会为安全接入的每个客户端验证它所具有的操作 阅读详情

相关推荐

MySQL的10种高级SQL技巧:性能飞升实战详解

通过掌握这些高级技巧,你将彻底摆脱“只会增删改查”的初级开发阶段,成为能解决复杂业务问题的MySQL高级开发者,让数据库在高性能、高并发的场景下稳定运行。的虚拟列/存储列,结合函数索引,完美解决了“直接对表达式建索引失效”的问题,让基于计算字段、JSON字段的查询更高效。SIMPLE(简单查询)、DERIVED(衍生表)、SUBQUERY(子查询)、DERIVED(派生表)等,复杂类型需警惕性能损耗。order_status TINYINT, -- 0:待支付,1:已支付,2:已取消,3:已完成。

_abab的专栏 686

SQL优化的15个小技巧,纯干货分享!

普通索引最基本的索引,没有任何限制唯一索引与普通索引类似,不同的就是:索引列的值必须唯一,但允许有空值主索引即主键索引,关键字PRIMARY复合索引为了更多的提高MySQL效率可建立组合索引,遵循“最左前缀”原则全文索引可用于MyISAM表,MySQL5.6之后也可用于innodb表,用于在一篇文章中,检索文本信息的, 针对较大的数据,生成全文索引很耗时和空间以上就是目前我对SQL优化的一些个人理解和总结,如果遗漏,欢迎评论区补充说明!

黄团团的个人博客 2万+

MySQL实战教程:从小白到大神的进阶之路!

MySQL是一种广泛应用于各类系统和应用程序的开源关系型数据库管理系统。它基于Structured Query Language(SQL)进行数据操作,以其高性能、可靠性、易用性和可扩展性而著称。以下是关于MySQL的详细介绍。存储过程(Stored Procedures)和函数(Functions)是数据库中预编译的SQL代码块,它们存储在数据库中,可被应用程序调用以执行特定的任务。存储过程可以包含SQL语句、控制流语句和声明变量等,而函数通常用于计算并返回一个值。

邓邓子的博客 3283

MySQL高级

MySQL数据库高级进阶,索引,锁,分库分表,都写分离,MySQL数据库集群,运维

qiumin的博客 3527

FPGA—DHT11数字温湿度传感器

1. DH1T11温湿度传感器与DS18B20温湿度传感器非常类似,都是严格按照时序要求写代码。建议可以比较学习。2. 显示温度与湿度部分的数据处理,采用 X10 进行在数码管上的移一位显示,配合了数码管小数部分的显示特点又区分了温度与湿度。3. 程序是按照一个接一个状态及顺序跳转的,建议使用状态机。说明:本人使用的是野火家Xilinx Spartan6系列开发板及配套教程,以上内容如有疑惑或错误欢迎评论区指出,或者移步B站观看野火家视频教程。

m0_72885897的博客 4781

Windows 下安装 ros2 的超详细教程

Windows11 ROS安装

2401_83363439的博客 3323

MySQL高级SQL秘籍:性能飞升之路

JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,它以简洁、易读的文本格式来表示结构化数据。在 MySQL 中,JSON 类型可以存储符合 JSON 标准的对象和数组,比如一个用户的扩展信息:{ "name": "李四", "age": 30, "address": { "city": "上海", "district": "浦东新区", "street": "世纪大道1号" }, "hobbies": ["篮球", "阅读", "旅行"] }

A1234543211232的博客 265

数字图像处理基础实验(二):直方图均衡化

一、实验内容及原理 1、计算灰度图像的归一化直方图 具体内容:利用 OpenCV 对图像像素进行操作,计算归一化直方图.并在 窗口中以图形的方式显示出来 步骤: (1)初始化一个256大小的数组,存放图像中每级灰度值的像素点的个数 (2)遍历整张图像 (3)归一化数组 2、灰度图像直方图均衡处理 具体内容:通过计算归一化直方图,设计算法实现直方图均衡化处理。 步骤: (1)读取该像素点的灰度值 (...

lyd1995的博客 4528

MySQL的10种高级SQL

的记录回表,再去过滤b。EXISTS vs IN:对于“是否存在”的查询,特别是子查询结果集较大时,EXISTS(关联子查询)通常比IN(非关联子查询)性能更好,因为它找到第一个匹配项就会停止。今天,我不谈基础的增删改查,就和你深入聊聊,在实际高性能、高并发、大数据量的场景下,那些真正能让你和团队生产力倍增、性能飞升的10种MySQL高级实战技巧。多小伙伴在工作中,可能只把MySQL当作一个简单的“数据存储箱”,用了它80%的基础功能,却不知道它还有另外20%的、能解决90%复杂问题的“高级用法”。

qq_22201881的博客 366

用野火FPGA开发板(EP4CE10)手把手教你实现一个高精度频率计(附完整Verilog代码)

本文详细介绍了基于野火FPGA开发板(EP4CE10)实现高精度频率计的全过程,涵盖等精度测量法的核心原理、Verilog代码实现及优化技巧。通过实际案例演示,帮助开发者掌握1Hz-50MHz范围、精度达0.1%的频率计设计方法,并提供完整的工程代码和实测数据。

weixin_29261711的博客 441

NVMe与PCIe的完美结合:高速存储背后的技术解析

本文深入解析了NVMe与PCIe技术如何完美结合,实现高速存储性能的飞跃。从机械硬盘到NVMe SSD的进化历程出发,详细介绍了PCIe总线的高带宽优势与NVMe协议的低延迟设计,以及两者协同工作带来的显著性能提升。通过实测数据对比,展示了NVMe SSD在消费级和企业级应用中的卓越表现,并提供了选购与优化建议。

weixin_29216353的博客 378

SQL优化之高级SQL优化

因为ids太多,即使能快速查出数据,但如果返回的数据量太大了,网络传输也是非常消耗性能的,接口性能始终好不到哪里去。可以通过in关键字实现,一个查询语句的条件落在另一个select语句的查询结果中。程序先运行在嵌套在最内层的语句,再运行外层的语句。三种连接如果结果相同,优先使用inner join,如果使用left join左边表尽量小。子查询语句的优点是简单,结构化,如果涉及的表数量不多的话。满足复合索引的左侧顺序,哪怕只是部分,复合索引生效。大量数据提交,上千,上万,批量性能非常快,

蓝鲸鱼计算机软件开发工作室 1483

大模型性能压测全指南:从指标到实战

本文系统阐述大模型(LLM/多模态)私有化部署性能压测方案,涵盖核心指标(TTFT、TPOT、吞吐、并发、资源占用、错误率)、四类典型压测场景及工具选型(Locust、vLLM benchmark等)。强调环境隔离、参数固定与长尾延迟分析,提出瓶颈定位思路与标准化报告模板,结合伪代码示例实现流式接口精准打点,确保测试结果真实可信,助力优化模型服务稳定性与性能。

SmallBull的博客 60

MySQL高级实战技巧:10种高效用法提升性能

MySQL高级优化实战:解锁数据库90%隐藏潜能 本文深入探讨10个MySQL高级实战技巧,帮助开发者突破基础应用瓶颈,解决高性能、高并发场景下的复杂问题。核心内容包括: 执行计划分析(EXPLAIN) - 通过type/key/rows/Extra字段精准定位性能瓶颈 高级索引策略 - 覆盖索引、索引下推、前缀索引的实战应用 窗口函数 - 实现高效跨行计算(排名/累加/移动平均) 递归CTE - 优雅处理树形/图状数据查询 JSON类型 - 灵活存储查询半结构化数据 分区表 - 亿级数据表的物理分割方案

xh2277659985的博客 382

PyTorch生成式人工智能(25)——基于Transformer实现机器翻译

不同于循环神经网络 (RNN) 按顺序处理数据,Transformer 以并行的方式处理输入数据(例如句子)。这种并行处理提高了效率,但并未使其能够识别输入的顺序。为了解决这个问题,Transformer 向输入的词嵌入中添加了位置编码。这些位置编码是分配给输入序列中每个位置的独特向量,其维度与输入词嵌入对齐。本节将以英语到法语的翻译为例,通过介绍如何训练 Transformer 模型将英语句子转换为法语,深入理解 Transformer 的架构及自注意力机制的运作方式。

盼小辉丶的博客 2805

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

10种让MySQL查询提速70%的高级SQL写法实战指南

SQL性能优化本质是引导查询优化器选择最优执行路径,而非单纯依赖索引或硬件升级。理解执行计划原理(如临时表生成、物化子查询、聚合下推限制)是突破慢查询瓶颈的前提。现代MySQL(8.0+)提供的窗口函数、LATERAL关联、JSON_TABLE、SKIP LOCKED等特性,能显著降低CPU与IO开销,在不改表结构、不加服务器的前提下实现响应时间数量级下降。这些技术在电商分页、标签检索、库存扣减、日志分析等高频场景中已验证可稳定提升70%以上吞吐量,并具备明确的适用边界与熔断机制,是DBA与资深开发必须掌握

weixin_31240035的博客 251

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

推荐MySQL中的这10种高级用法

很多小伙伴在工作中,可能只把MySQL当作一个简单的“数据存储箱”,用了它80%的基础功能,却不知道它还有另外20%的、能解决90%复杂问题的“高级用法”。今天,我不谈基础的增删改查,就和你深入聊聊,在实际高性能、高并发、大数据量的场景下,那些真正能让你和团队生产力倍增、性能飞升的10种MySQL高级实战技巧。希望对你会有所帮助。MySQL允许你定义用户变量(如@rank),这在一些需要跨行计算或记录中间状态的分析中非常有用。好了,一口气聊了11个MySQL的高级用法。

kfashfasf的博客 440

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 美团一面:循环队列听说过么,怎么实现?
下一篇: 从一个程序员的角度告诉你:“12306”有多牛逼?
公众号-芋道源码
博客等级 码龄10年 1637粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值