mysql大表(千万以上)插入 和 查询提速

本文分析了在MySQL数据库中,面对3千万条记录的大表,插入和查询速度变慢的问题。主要原因是内存缓存的LRU策略和数据页频繁交换。解决方案包括调整主键ID的生成方式以提高缓存利用率,以及理解并利用索引和存储结构进行查询优化。总结指出,对于大表,除了EXPLAIN外,还需深入理解存储结构和缓存原理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

mysql大表(千万以上)插入 和 查询提速

背景

数据库:mysql
数据量:3千万
字段个数:12个字段
大字段:最大bigint
主键索引和field5索引

遇到的问题

1.主键id雪花生成器生成,插入数据的时候到达1200万左右,就异常的缓慢,每秒插入低于100个,无法接受。
2.查询的时候,explain select field1, field2, field3, field4 from tablename where field5= 46100151664131 limit 0,200
explain
查询100条数据接近0.5秒,批量查询10个接近5秒,难以接受

插入慢问题分析

1.为什么插入开始十分的快,后面就慢下来了,原因是什么?
懂得mysql缓存结构的人应该清楚,插入没提交实在内存中存储的,另外主键索引是聚簇索引,b+树叶子节点会存储数据本身,那么随着插入量大于一千多万的时候,内存中的页不能存储所有数据页了,而采用LRU原则保留部分分页数据,insert语句比较大,主键id分布的索引页比较广泛,那么内存就需要频繁的和硬盘交换数据,加载数据页,导致变慢。
解决办法:知道B+树原理就可以知道,主键id递增分页,那么如果我主键id递增,缓存页利用率就

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值