MySQL千万级数据从190秒优化到1秒全过程

使用MySQL进行千万级别数据查询的技巧 拿 limit 10000, 10 这条语句来说明一下, MySQL在执行这条查询的时候,需要查询 10010 (10000 + 10) 条记录,然后只返回最后 10 条,并将前面的 10000 条记录抛弃,这样当翻页越靠后时,代价就变得越来越高。这是因为查询时 MySQL 并不是跳过 OFFSET 行,而是取 OFFSET+N 行,然后放弃前 OFFSET 行,最后返回 N 行,当 OFFSET 特别大的时候,效率就非常的低下。先在索引树中找到开始位置的 id 值,再根据找到的 id 值查询行数据。 阅读详情

首先要声明的就是,千万级数据对于MySQL来说就是不太合理的一个存在。

优化MySQL千万级数据策略还是比较多的。

  • 分表分库
  • 创建中间表,汇总表
  • 修改为多个子查询

这里讨论的情况是在MySQL一张表的数据达到千万级别。表设计很烂,业务统计规则又不允许把sql拆成多个子查询。

在这样的情况下,开发者可以尝试通过优化SQL来达到查询的目的。

当MySQL一张表的数据达到千万级别,会出现一些特殊的情况。这里主要是讨论在比较极端的情况下SQL的优化策略。

先来个千万级数据

通过存储过程传递函数制造1000万条数据。

表结构如下:

CREATE TABLE `orders` (
  `order_id` int NOT NULL AUTO_INCREMENT,
  `user_id` int DEFAULT NULL,
  `order_date` date NOT NULL,
  `total_amount` decimal(10,2) NOT NULL,
  PRIMARY KEY (`order_id`),
  KEY `idx_user_id` (`user_id`) USING BTREE,
  KEY `idx_user_amount` (`user_id`,`total_amount`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

CREATE TABLE `users` (
  `user_id` int NOT NULL AUTO_INCREMENT,
  `username` varchar(50) COLLATE utf8mb4_general_ci NOT NULL,
  `email` varchar(100) COLLATE utf8mb4_general_ci NOT NULL,
  `created_at` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`user_id`),
  KEY `idx_user_id` (`user_id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

造数据的存储过程如下。

用户数据:

-- 产生用户存储过程,1000个
CREATE DEFINER=`root`@`localhost` PROCEDURE `create_users`()
BEGIN
    DECLARE i INT DEFAULT 0;
    DECLARE total_users INT DEFAULT 1000; -- 调整用户数量
    DECLARE rnd_username VARCHAR(50);
    DECLARE rnd_email VARCHAR(100);

    WHILE i < total_users DO
        -- 生成随机用户名和邮箱
        SET rnd_username = CONCAT('User', FLOOR(1 + RAND() * 10000000)); -- 假设用户名唯一
        SET rnd_email = CONCAT(rnd_username, '@example.com'); -- 假设邮箱唯一
        -- 将数据插入用户表
        INSERT INTO users (username, email) VALUES (rnd_username, rnd_email);

        SET i = i + 1;
    END WHILE;
END

订单数据生成存储过程如下:

CREATE DEFINER=`root`@`localhost` PROCEDURE `generate_orders`()
BEGIN
    DECLARE i INT DEFAULT 0;
    DECLARE total_users INT DEFAULT 1000; -- 用户数量
    DECLARE total_orders_per_user INT DEFAULT 1000; -- 每个用户的订单数量
    DECLARE rnd_user_id INT;
    DECLARE rnd_order_date DATE;
    DECLARE rnd_total_amount DECIMAL(10, 2);
    DECLARE j INT DEFAULT 0;

    WHILE i < total_users DO
        -- 获取用户ID
        SELECT user_id INTO rnd_user_id FROM users LIMIT i, 1;

        WHILE j < total_orders_per_user DO
            -- 生成订单日期和总金额
            SET rnd_order_date = DATE_ADD('2020-01-01', INTERVAL FLOOR(RAND() * 1096) DAY); -- 2020-01-01和2022-12-31之间的随机日期
            SET rnd_total_amount = ROUND(RAND() * 1000, 2); -- 0到1000之间的随机总金额
            -- 将数据插入订单表
            INSERT INTO orders (user_id, order_date, total_amount) VALUES (rnd_user_id, rnd_order_date, rnd_total_amount);

            SET j = j + 1;
        END WHILE;
        SET j = 0;

        SET i = i + 1;
    END WHILE;
END

将users和orders的数据生成分开,这样可以通过多次调用orders存储过程多线程参数数据。

调用一次call create_users(),然后开15个窗口调用orders存储过程call generate_orders()。

整个过程会产生1000个用户,15*1000*1000也就是1500万条订单数据。

原始SQL

这是一个很简单的sql,统计每个用户的订单总额。

在默认情况下,什么索引都没有创建,需要花费190+s的时间。

-- 第一个版本
SELECT a.*,sum(b.total_amount) as total from users a left join orders b  on a.user_id = b.user_id
group by a.user_id;

explain分析如下:

id

select_type

table

partitions

type

possible_keys

key

key_len

ref

rows

filtered

Extra

1

SIMPLE

a

ALL

PRIMARY

1000

100.0

Using temporary

1

SIMPLE

b

ALL

13016086

100.0

Using where; Using join buffer (hash join)

可以看到什么索引也没使用,type为all,直接全表扫描。

用时191s。

第一次优化:普通索引

把查询条件用到的sql条件都创建索引。也就是where和join、sum涉及到的知道。

CREATE INDEX idx_orders_user_id ON orders (user_id);
CREATE INDEX idx_orders_total_amount ON orders (total_amount);
CREATE INDEX idx_users_user_id ON users (user_id);

查询sql仍然是第一个版本。

-- 第一个版本
SELECT a.*,sum(b.total_amount) as total from users a left join orders b  on a.user_id = b.user_id
group by a.user_id;

先看看expalin的结果:

id

select_type

table

partitions

type

possible_keys

key

key_len

ref

rows

filtered

Extra

1

SIMPLE

a

index

PRIMARY,idx_users_user_id

PRIMARY

4

1

100.0

1

SIMPLE

b

ref

idx_orders_user_id

idx_orders_user_id

5

test2.a.user_id

13003

100.0

type为index或者ref,全部走的索引。

查询结果却让人失望,这次用的时间更多,用了460+s。也就是说查询变慢了。

推测是由于mysql的回表机制导致查询变得更慢了。所以接下来继续优化索引。

第二次优化:覆盖索引

覆盖索引是指一个索引包含了查询所需的所有列,从而可以满足查询的要求,而不需要访问实际的数据行。

通常情况下,数据库查询需要根据索引定位到对应的数据行,然后再从数据行中获取所需的列值。

而当索引中包含了查询所需的所有列时,数据库引擎可以直接通过索引就能够满足查询的要求,无需访问实际的数据行,这样就可以提高查询性能。

这也是普通索引添加了还是查询慢的原因,因为普通索引命中了还是会去找主键,通过主键找到关联字段的值做过滤。

-- 先不删除普通索引
-- drop INDEX idx_orders_user_id ON orders;
-- drop INDEX idx_orders_total_amount ON orders;
CREATE INDEX idx_orders_total_amount_user_id ON orders (total_amount,user_id);
CREATE INDEX idx_orders_user_id_total_amount ON orders (user_id,total_amount);

1500万数据创建索引就花费了300+s。所以创建索引得适度。

查询sql还是第一个版本。

-- 第一个版本
SELECT a.*,sum(b.total_amount) as total from users a left join orders b  on a.user_id = b.user_id
group by a.user_id;

先看看expalin的结果:

id

select_type

table

partitions

type

possible_keys

key

key_len

ref

rows

filtered

Extra

1

SIMPLE

a

index

PRIMARY,idx_users_user_id

PRIMARY

4

1

100.0

1

SIMPLE

b

ref

idx_orders_user_id,idx_orders_user_id_total_amount

idx_orders_user_id_total_amount

5

test2.a.user_id

874

100.0

Using index

可以看到orders表的type从index提升到了ref。

此时的查询时间为从460s+降低到10s了。

结果证明覆盖索引能提升查询速度。

问题就在于这次建的两个覆盖索引,只有 idx_orders_user_id_total_amount 降低了查询时间,而 idx_orders_total_amount_user_id没有。

这个和mysql的关键词执行顺序有一定关系(推测,没找到资料)。

mysql执行顺序如下:

from
on
join
where
group by
having
select
distinct
union (all)
order by
limit

可以看到在覆盖索引使用过程先是where,再是到select的sum函数。这也是 idx_orders_user_id_total_amount 索引的创建顺序。

drop INDEX idx_orders_user_id ON orders;
drop INDEX idx_orders_total_amount ON orders;
drop INDEX idx_orders_total_amount_user_id ON orders;

drop掉相关的多余索引可以发现执行查询时间没有变化,仍然为10s。

索引优化这块差不多就是通过覆盖索引来命中索引。

第三次优化:减少数据量

减少数据量在业务上来说就是移除不必要的数据,或者可以在架构设计这块做一些工作。

分表就是这个原则。

通过这个方式能把千万的数据量减少到百万甚至几十万的量。提升的查询速度是可以想象的。

-- 第三次优化:减少数据量
SELECT a.*,sum(b.total_amount) as total from users a left join orders b  on a.user_id = b.user_id
where a.user_id > 1033
group by a.user_id;

expain结果如下:

id

select_type

table

partitions

type

possible_keys

key

key_len

ref

rows

filtered

Extra

1

SIMPLE

a

range

PRIMARY,idx_users_user_id

PRIMARY

4

685

100.0

Using where

1

SIMPLE

b

ref

idx_orders_user_id_total_amount

idx_orders_user_id_total_amount

5

test2.a.user_id

874

100.0

Using index

可以看到users表的type为range。能过滤一部分数据量。

查询时间从10s降低到7s,减少数据量证明有效。

第四次优化:小表驱动大表

在 MySQL 中,通常情况下,优化器会根据查询条件和表的大小选择合适的驱动表(即主导表)。

小表驱动大表是一种优化策略,它指的是在连接查询中,优先选择小表作为驱动表,以减少连接操作所需的内存和处理时间。

在第三次优化的结果上,可以尝试使用小表驱动大表优化策略。

-- 第三个版本,小标驱动大表  没啥效果
SELECT a.*,sum(b.total_amount) as total from users a
left join (select user_id,total_amount from orders c where c.user_id > 1033 ) b  on a.user_id = b.user_id
where a.user_id > 1033
group by a.user_id;

将left join的表修改为子查询,能提前过滤一部分数据量。

expain结果如下:

id

select_type

table

partitions

type

possible_keys

key

key_len

ref

rows

filtered

Extra

1

SIMPLE

a

range

PRIMARY,idx_users_user_id

PRIMARY

4

685

100.0

Using where

1

SIMPLE

c

ref

idx_orders_user_id_total_amount

idx_orders_user_id_total_amount

5

test2.a.user_id

874

100.0

Using where; Using index

可以看到explain没什么变化。实际执行效果也没啥变化。

小表驱动大表在这里无效,但是可以结合具体的业务进行优化sql。这个策略是没问题的。

第五次优化:强制索引

当 MySQL 中的 IN 子句用于查询千万级数据时,如果未正确设计和使用索引,可能导致索引失效,从而影响查询性能。

通常情况下,MySQL 的优化器会根据查询条件选择最优的执行计划,包括选择合适的索引。然而,对于大数据量的 IN 子句查询,MySQL 可能无法有效使用索引,从而导致全表扫描或索引失效。

查询sql如下,由于in的数据量不是很稀疏,实际查询强制索引和普通索引效果一致

-- 第五个版本,强制索引 
SELECT a.*,sum(b.total_amount) as total from users a left join orders b force index (idx_orders_user_id_total_amount)  on a.user_id = b.user_id
where b.user_id in (1033,1034,1035,1036,1037,1038)
group by a.user_id;
-- 第五个版本,不走强制索引 
SELECT a.*,sum(b.total_amount) as total from users a left join orders b  on a.user_id = b.user_id
where b.user_id in (1033,1034,1035,1036,1037,1038)
group by a.user_id;

查询时间都是零点几秒。

笔者在实际业务中是遇到过这种场景的,业务sql更加复杂。这里由于临时创建的订单用户表没复现。

当你发现explain都是命中索引的,但是查询依然很慢。这个强制索引可以试试。

优化策略

  • 提前命中索引,小表驱动大表
  • 千万级数据in索引失效,进行强制索引
  • 使用覆盖索引解决回表问题

下次该怎么优化SQL

  • 数据接近千万级,需要分表,比如按照用户id取模分表。
  • 用汇总表代替子查询来命中索引,比如把小时表生成日表、月表汇总数据。
  • 关联字段冗余、直接放到一张表就是单表查询了。
  • 命中索引,空间换时间,这也是本文分析的场景。

关于命中索引核心点就是覆盖索引,再者是千万数据产生的特有场景需要走强制索引。

tips

explain结果type的含义

在 MySQL 的 EXPLAIN 查询结果中,type 字段表示了查询使用的访问类型,即查询执行过程中的访问方法。

根据不同的访问类型,MySQL 查询优化器将选择不同的执行计划。以下是 type 字段可能的取值及其含义:

  • system: 这是最好的情况,表示查询只返回一行结果。这通常是通过直接访问表的 PRIMARY KEY 或唯一索引来完成的。
  • const: 表示 MySQL 在查询中找到了常量值,这是在连接的第一个表中进行的。由于这是常量条件,MySQL 只会读取一次表中的一行数据。例如,通过主键访问一行数据。
  • eq_ref: 类似于 const,但在使用了索引的情况下。此类型的查询是通过某个唯一索引来访问表的,对于每个索引键值,表中只有一行匹配。常见于使用主键或唯一索引进行连接操作。
  • ref: 表示此查询使用了非唯一索引来查找值。返回的是所有匹配某个单独值的行。该类型一般出现在联接操作中,使用了非唯一索引或者索引前缀。
  • range: 表示查询使用了索引来进行范围检索,通常出现在带有范围条件的查询语句中,例如 BETWEEN、IN()、>、<等。
  • index: 表示 MySQL 将扫描整个索引来找到所需的行。这通常是在没有合适的索引的情况下,MySQL 会选择使用这种访问类型。
  • all: 表示 MySQL 将扫描全表以找到所需的行,这是最差的情况。这种情况下,MySQL 将对表中的每一行执行完整的扫描。

通常来说,type 字段的排序从最好到最差依次是 system、const、eq_ref、ref、range、index、all,当然,实际情况取决于查询的具体情况、表结构和索引的使用情况。更好的查询性能通常对应着更好的 type 类型。

mysql的回表机制

在 MySQL 中,回表("ref" or "Bookmark Lookup" in English)是指在使用索引进行查询时,MySQL 首先通过索引找到满足条件的行的位置,然后再回到主表(或称为数据表)中查找完整的行数据的过程。

这个过程通常发生在某些查询中,特别是涉及到覆盖索引无法满足查询需求时。

当一个查询不能完全通过索引满足时,MySQL 就需要回到主表中查找更多的信息。这种情况通常出现在以下几种情况下:

  • 非覆盖索引查询: 如果查询需要返回主表中未包含在索引中的其他列的数据时,MySQL 就需要回到主表中查找这些额外的列数据。
  • 使用索引范围条件: 当查询中使用了范围条件(例如 BETWEEN、>、< 等),而索引只能定位到范围起始位置时,MySQL 需要回到主表中检查满足范围条件的完整行。
  • 使用了聚簇索引但需要查找的列不在索引中: 在使用了聚簇索引的表中,如果需要查询的列不在聚簇索引中,MySQL 需要回到主表中查找这些列的数据。

当 MySQL 需要执行回表操作时,会发生额外的磁盘访问,因为需要读取主表中的数据。这可能会导致性能下降,特别是在大型数据表中或者在高并发环境中。

为了尽量减少回表操作的发生,可以考虑以下几点:

  • 创建覆盖索引:确保查询所需的所有列都包含在索引中,从而避免回表操作。
  • 优化查询语句:尽量避免使用范围条件,或者确保所有的过滤条件都可以被索引完全匹配。
  • 考虑表设计:在设计数据库表结构时,可以考虑将常用的查询字段都包含在索引中,以减少回表操作的发生。

构建系统性性能优化框架:从数据驱动到架构实践 系统性能优化是软件工程中的核心挑战,其本质在于通过科学方法提升资源利用效率与响应速度。从原理层面看,优化需遵循数据驱动原则,基于吞吐量、响应时间、错误率等关键指标建立性能基准,而非依赖主观感受。技术价值体现在通过精准定位瓶颈,如利用arthas进行应用层性能剖析或分析数据库慢查询,实现高性价比的改进。在应用场景上,优化贯穿于计算、I/O、并发及分层架构等环节,例如通过缓存策略减少不必要的CPU消耗,或使用连接池化降低网络延迟。这些实践最终收敛于构建一套从认知到实施的系统性性能优化框架,帮助开发者科学应对系统 阅读详情

相关推荐

索引策略全解析——从基础到前沿的SQL优化实战指南

你是否遇到过这样的场景:数据库查询突然变慢,业务系统响应延迟,用户投诉激增?当DBA紧急排查时,发现竟是某个未优化的索引拖垮了整个数据库!本文将通过真实生产环境案例,深度拆解索引策略全链路,从B+树索引原理到前沿AI驱动优化,助你掌握让SQL效率提升百倍的核心方法论!

Start_mswin的博客 405

1.3万亿条数据查询如何做到毫秒级响应?

TiDB 是一个开源的 MySQL 兼容的 NewSQL 混合事务/分析处理( HTAP)数据库,本文深入探讨TiDB如何在大量的数据上保持毫秒级的查询响应时间,以及 如何为知乎提供支持获得对数据的实时洞察。 墨天轮平台(modb.pro)开设了TiDB数据库专栏,欢迎大家订阅: https://www.modb.pro/db?dbType=7(复制到网站中打开或者点击“阅读原文”)即可...

Enmotech的博客 3849

MySQL慢查询优化:设置毫秒级查询

总结起来,通过设置毫秒级查询,我们可以更精确地监控和优化MySQL中的慢查询。通过分析慢查询日志,我们可以找出执行时间较长的查询,并针对性地进行性能优化。如果该查询的执行时间超过了我们设置的慢查询阈值,MySQL将会将其记录到慢查询日志中。上述配置将把慢查询的阈值设置为1毫秒,并将慢查询日志记录到指定的文件中。无论你选择哪种方法,设置慢查询参数后,MySQL将开始记录执行时间超过阈值的查询语句。通过分析慢查询日志,你可以确定那些执行时间较长的查询,并针对性地进行优化。

MbfrDeveloper的博客 463

数据库性能调优秘籍:让千万级数据查询响应时间缩短至秒级的实战攻略

实现千万级数据查询的秒级响应,需要从索引优化、查询优化、服务器配置、数据库架构等多个方面入手,综合运用各种技术和策略。同时,建立完善的监控体系,持续进行性能优化,才能应对不断增长的数据量和日益复杂的业务需求,为企业提供高效、稳定的数据库服务。

数字魔方操控师的博客 1457

【物联网】探索NE555:一款经典的集成电路(超详细)

NE555是一种集成电路,其内部结构包括比较器、RS触发器、电压比较器和输出级三个主要功能模块,外部引脚则提供了与其他电路元件进行连接的接口。NE555的设计目的是为了提供一种简单方便的定时器解决方案,它广泛应用于模拟和数字电路中。NE555作为一款经典的集成电路,具备设计简单、易于使用和稳定可靠的特点,在电子领域发展了广泛的应用。从单稳态模式到多稳态模式,再到振荡器模式,NE555可以满足不同的需求,并且可以与其他电路元件灵活组合,扩展其功能。然而,需要注意的是NE555也有一些限制。

Goforyouqp的博客 6万+

C++实战:基于ONNX Runtime与OpenCV部署XFeat图像匹配模型

本文详细介绍了在C++环境中,利用ONNX Runtime与OpenCV高效部署XFeat图像匹配模型的完整流程。内容涵盖环境搭建、模型转换、核心代码封装及可视化实现,旨在帮助开发者将这一先进的深度学习模型集成到对性能要求苛刻的工业或嵌入式应用中,实现鲁棒且快速的特征匹配。

gpu4optimizer的博客 522

MySQL千万级查询从190秒优化至1秒

首先需要明确,处理数千万条数据通常不是MySQL的最佳使用场景。分片(拆分表和数据库)创建汇总表修改查询使用多个子查询本文讨论的场景是单个MySQL表中包含数千万条记录的情况。假设表设计较差,且业务规则不允许将SQL查询拆分为多个子查询。在这种情况下,开发者可以尝试通过优化SQL来实现查询目标。尽早命中索引,使用小表驱动大表。处理IN子句的低效性时,可以尝试强制索引。使用覆盖索引避免表查找。使用表分区(如按用户ID取模)。使用汇总表替代子查询。冗余连接字段直接放入单表。

Xayla的博客 989

树莓派视觉小车实战:OpenCV驱动的智能物体追踪系统

本文详细介绍了如何从零开始构建一个基于树莓派的智能视觉小车,实现物体跟踪功能。通过OpenCV进行图像处理,结合颜色与轮廓识别算法,让小车能够实时锁定并追踪特定目标。内容涵盖硬件搭建、软件环境配置、核心代码解析及运动控制逻辑,为创客和开发者提供了完整的实战指南。

weixin_29047545的博客 145

MySQL单表千万级数据查询优化大家怎么说(评论有亮点)

单表千万级数据是MySQL查询的一个坎,可能还不是天花板。“一个人走的慢,一群人走的快”,通过讨论可以发现MySQL千万数据的全貌大概是怎样的。

欢迎关注公众号“雨林寻北”,添加个人微信codetrend(备注技术)。 1156

避坑指南:STM32CubeMX配置SDIO4bit模式时为什么卡在HAL_SD_ConfigWideBusOperation?

本文深入分析了使用STM32CubeMX配置SDIO 4位模式时,程序在HAL_SD_ConfigWideBusOperation函数处卡死的常见问题。文章从硬件连接、CubeMX配置、初始化序列及HAL库底层实现等多个维度剖析根源,并提供了从初始化流程优化到增强代码鲁棒性等实战解决方案,帮助开发者彻底解决这一棘手难题。

pca5navigator的博客 825

1. 基于STM32的1.28寸圆形IPS屏(GC9A01)驱动移植实战:软件SPI与硬件SPI双方案详解

本文详细介绍了如何在STM32平台上为1.28寸圆形IPS屏(GC9A01驱动芯片)移植驱动程序,涵盖软件SPI与硬件SPI两种实现方案。内容从引脚定义、工程搭建、GPIO配置到SPI外设初始化逐步详解,并提供了完整的测试代码,帮助开发者根据项目需求(灵活性或性能)选择合适的通信方式,快速点亮屏幕并集成到智能手表等嵌入式项目中。

weixin_42300144的博客 203

Mysql 一百万分页_MySQL 百万级分页优化(Mysql千万级快速分页)

=dblink();$db->pagesize=20;$sql=”select id from collect where vtype=$vtype”;$db->execute($sql);$strpage=$db->strpage(); //将分页字符串保存在临时变量,方便输出while($rs=$db->fetch_array()){$strid.=$rs[‘id‘]....

weixin_39916360的博客 195

高级数据结构之R树(R-tree)

R树(R-tree)是一种将B树扩展到多维情况下得到的数据结构,它最初由Antonin Guttman于1984年提出。B树的结点中会存储一个键的集合,这些键把线分成片段,沿着那条线的点仅属于一个片段。因此,B树使得我们可以很容易地找到点。如果把沿线各处的点表示成B树结点,我们就能够确定点所属唯一子结点,在那里可以找到该点。 Antonin Guttman在他提出R树的经典论文中给出的R树例子...

白马负金羁 1万+

MySQL处理千万级数据查询分页

MySql 性能到底能有多高?真正如此深入的去思考这个问题还是从前天开始。有过痛苦有过绝望,到现在充满信心!MySql 这个数据库绝对是适合dba级的高手去玩的,一般做一点1万篇新闻的小型系统怎么写都可以,用xx框架可以实现快速开发。可是数据量到了10万,百万至千万,他的性能还能那么高吗?一点小小的失误,可能造成整个系统的改写,甚至更本系统无法正常运行!好了,不那么多废话了。用事实说话,看例子:

wtwshui的专栏 628

1 初识智能化测试

非常感谢您可以和我一起来聊一聊智能化测试的一些事。智能化测试是一个新鲜又老旧的问题,说新鲜是因为很多人当听到智能化测试都会联想到人工智能、机器学习、深度学习等高大上的技术,很多时候觉得离我们的实际工作还很远;说老旧,是因为智能化测试的一些技术的发展在行业里面已经很久了,例如符号执行、静态分析等技术已经有很长的历史了。近些年,随着测试技术的的飞速发展,智能化测试也有了越来越多的实践,优秀的开源项目慢慢的被行业推行并且落地。那么在这里我们就一起来聊聊智能化测试以及智能化测试好的思路、实践、方法以及技术落地过程。

Criss@陈磊 2626

《使用R包ggtree进行进化树的绘制与美化》

都2023年了,才去使用Y叔早在2018年发表的进化树构建利器——ggtree。刚好最近在做基因家族分析,进化树的构建与美化确实有点麻烦,先前使用MEGA11进行了绘制,但图像简陋,于是导出了nwk文件,准备使用其他软件进行美化。这里,我使用ggtree包进行操作。

沉香best的博客 6898

MySQL UNION vs 多查询:性能实测大比拼

经过这次实测,最意外的发现是:UNION ALL在大数据量时性能优势如此明显。以前总是习惯性用多个查询,现在会优先考虑UNION方案。建议开发者们都实际测试下自己业务场景中的查询模式,数据驱动的优化才是最靠谱的。

IndigoNight21的博客 1047

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

数据库LIKE查询屡试不爽?揭秘大多数人都忽视的秘密操作符!

本文分析了因数据库中的不可见空白字符导致的数据查询问题,探讨了问题的成因与特性,并提出了使用 SQL 语句修复问题的有效方案。同时,总结了避免类似问题的经验和注意事项。

欢迎关注公众号“雨林寻北”,添加个人微信codetrend(备注技术)。 1081

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Java物流系统性能优化全记录(响应速度提升80%的秘密)

解决Java物流系统卡顿难题,本文分享真实开发案例中的性能优化全过程。通过线程池调优、数据库索引优化与缓存机制,响应速度提升80%,适用于高并发物流场景。Java物流系统开发案例深度解析,值得收藏。

ProcePerch的博客 341

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Parquet文件索引机制与性能优化实战

列式存储是数据仓库和大数据分析的核心技术,通过按列而非按行存储数据,显著提升查询性能并降低I/O开销。Parquet作为当前最流行的列式存储格式,其内置的三重索引机制(文件级、列块级、页级)利用统计信息实现智能数据过滤,相比传统数据库索引具有存储效率高、批量查询快的优势。在数据工程实践中,合理配置Row Group大小、预排序关键列以及优化列存储布局,可使查询性能提升3-8倍。特别是在物联网时序数据、用户行为分析等场景下,结合DuckDB等现代分析引擎,能有效应对千万级数据的高效查询需求。随着Parquet

weixin_34396103的博客 681

Cause: java.sql.SQLException: No operations allowed after statement closed.

Cause: java.sql.SQLException: No operations allowed after statement closed.

weixin_43777152的博客 1799
上一篇: Java并发神器:一文掌握所有并发工具类[特殊字符]
下一篇: 生产环境到底能用Docker部署MySQL吗?
程序员职业指南
博客等级 码龄4年 2139粉丝 960原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值