千万级表查询优化

最新推荐文章于 2024-04-14 22:28:24 发布
原创 最新推荐文章于 2024-04-14 22:28:24 发布 · 841 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #缓存 #索引 #性能 #nosql

本文总结了在面对超大表查询时，如何通过增加索引、优化SQL执行效率、转换为分区表、引入缓存策略、采用读写分离及分表分库等方法来提升查询性能。对于数据量超过千万级的情况，建议结合分区表与缓存，进一步考虑读写分离、分表分库等方案，以应对更复杂的数据管理和查询需求。

最近想换工作了，面试经常被问道超大表查询优化方面的东西，在这里总结一下个人的一些心得，如果有幸被哪位技术大牛看到，不当之处请多多指教！


1：给需要高频查询的字段增加索引
2：优化查询sql执行效率
3：把现有表改为分区表
4：在应用层加缓存减少热点数据访问数据库的次数（如果是使用oracle的话，可以查看awr报告找到执行次数最多和执行效率最差 的一些sql，然后把这些操作用到的数据加载到缓存中）
5：使用分表/分库策略，把数据分散到不同的表/库中（如果业务流程都需要用到全表扫描则不太适合）
6：使用数据库读写分离（减轻服务器单节点的压力）


设计程序的时候如果预估数据会超过100W就应该考虑优化查询语句，增加索引等操作。

如果数据量会查过1000W就应该考虑 分区表+缓存的策略

如果分区表+缓存的策略也不行了那就考虑读写分离、分表、分库等方案

如果以上方案都用了还会有性能问题，那只能使用杀手锏nosql了，当前前提是这个大表不会涉及复杂的逻辑查询查询，最好只是简单的key-value查询（key-value高并发查询是mangodb、hbase等nosql产品的拿手好菜啊）


如果nosql也吃不消了，就只能阿弥陀佛自求多福了，我也没辙了。如果哪位大神有更好的方案 求指教微笑

千万及以上数据量级数据库查询优化
qq_30258721的博客
03-11 1415
千万及以上数据量级数据库查询优化
MySQL 千万级数据查询优化秘籍大公开
最新发布
威哥说编程
11-15 1657
在 MySQL 中处理千万级数据的查询优化是一个系统性工程，涉及到数据库设计、索引优化、查询优化、配置调整等多个方面。通过合理的表设计、有效的索引策略、优化查询、调整数据库配置、硬件升级以及分布式扩展，可以显著提升 MySQL 在海量数据下的查询性能。最重要的是，优化工作是一个持续的过程，需要定期监控数据库性能，并根据业务增长和负载变化调整优化策略。通过结合各种优化技巧，可以使 MySQL 在海量数据面前依然保持优异的性能。
mysql 千万级数据优化
05-05
介绍一下海量数据库sql 优化，及书写sql 应该注意的事项。
MySQL千万级大数据SQL查询优化知识点总结
09-08
在本篇文章里小编给大家整理的是一篇关于MySQL千万级大数据SQL查询优化知识点总结内容，有需要的朋友们可以学习参考下。
千万级别数据查询优化（mysql）
laozengsky的博客
10-15 3185
首先建表 CREATE TABLE `student` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(10) NOT NULL COMMENT '姓名', `age` int(10) unsigned NOT NULL COMMENT '岁数', PRIMARY KEY (`id`), KEY `age` (`age`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 插入数据(时间可
MySQL 千万级数据的查询优化
不会修电脑的程序猿
08-07 771
对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null 可以在 num 上设置默认值0，确保表中 num 列没有 null 值，然后这样查询：select id from...
30个mysql千万级大数据SQL查询优化技巧详解
12-16
MySQL千万级大数据SQL查询优化技巧详解 在处理大数据量的MySQL数据库时，高效的SQL查询显得尤为重要。以下是一些关键的优化技巧，可以帮助你提升查询性能，避免全表扫描，充分利用索引，以及优化查询逻辑： 1. **...
mysql千万级数据大表该如何优化?
12-15
MySQL数据库在处理千万级数据大表时，优化是至关重要的，因为这直接影响到系统的性能和响应速度。以下是一些关键的优化策略： 1. **数据容量规划**：预测未来1-3年内数据增长情况，计算每条数据的平均大小，以此来...
数据库千万级数据量查询的优化技巧及思路
w_l666的博客
12-27 3586
数据库的分库分表是一种在数据库层面上的水平拆分策略，通过将一个大型数据库拆分成多个小型数据库（分库）并将每个小型数据库中的表拆分成多个子表（分表），来提高数据库的扩展性、性能和负载均衡能力。当单个数据库无法满足查询性能需求时，可以考虑使用数据库分片技术，将数据分散到多个数据库中，每个数据库只处理部分数据，从而提高查询的并发度和整体性能。这样，订单数据既按照一定规则分配到不同库，又在每个库内按照不同规则分配到不同表，实现了数据库的分库分表。2. 避免 SELECT。假设有两个库，一个主库（
mysql千万级数据量查询优化参考 —— 筑梦之路
筑梦之路
04-14 3511
Mysql查询性能优化要从三个方面考虑，库表结构优化、索引优化和查询优化。
基于Hbase的大数据查询优化
07-04
Hbase有着先天的优势和先天的劣势,而劣势就是其较差的数据定位能力,也就是数据查询能力。因为面向列的特点,Hbase只能单单地以rowkey为主键作查询,而无法对表进行多维查询和join操作,并且查询通常都是全表扫描,耗费资源较大,查询效率较低。类比于传统型数据库里的一些查询方式,本文对Hbase的存储原理进行了研究,借助分布式计算框架Mapreduce在Hbase上构建了二级索引,就可以对表进行有针对性的定位和高效率的查找,同时也减轻zookeeper服务对资源调度的压力。
Oracle 多表查询优化
09-06
Oracle 多表查询优化
Mysql百万级以上查询优化总结
09-29
Mysql百万级以上查询优化总结，，对mysql表优化、索引优化
千万级别数据查询优化_千万级数据表选错索引导致的线上慢查询事故
weixin_35012177的博客
01-12 417
前言最近在线上环境遇到了一次SQL慢查询引发的数据库故障，影响线上业务。经过排查后，确定原因是「SQL在执行时，MySQL优化器选择了错误的索引(不应该说是“错误”，而是选择了实际执行耗时更长的索引)」。在排查过程中，查阅了许多资料，也学习了下MySQL优化器选择索引的基本准则，在本文中进行解决问题思路的分享。本人MySQL了解深度有限，如果错误欢迎理性讨论和指正。「在这次事故中也能充分...
千万级数据库查询优化
Get busy living,or get busy dying.
10-14 893
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null  可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： sele
Sql server 千万级大数据SQL查询优化
热门推荐
u013938578的博客
08-04 2万+
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t ...
MySQL千万级数据存储以及查询优化
01-22 2052
当前系统有一个交易流水表，按照每天一个表的策略进行分表存储交易流水。现在每张表大约3000W-4000W笔记录，即每天大约有3000w-4000w笔交易发生。该表采用Innodb存储引擎，默认支持事务。流水记录的ID由程序自己生成，基于UUID实现，无序混乱。现在碰到的问题是：每天下午，交易无法写入数据表，且当表的存储数据量增长到一定程序则无法进行查询。综上所述，涉及交易流水的相关操作在数据量增长到一定量之后均无法执行。
Mysql数据库千万级数据查询优化方案
weixin_46475802的博客
05-18 5885
Mysql数据库中一个表里有一千多万条数据，怎么快速的查出第900万条后的100条数据？ 面试官问：Mysql数据库千万级数据查询优化方案… 首先创建一张表，里面模拟了1000w数据： CREATE TABLE `system`.`Untitled` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键', `name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci
千万级数据库查询+分页优化
何足道也
07-03 2198
思路: 方法一: select top 5 * from dbo.CompanyNews where PKId > (select max(PKId) from CompanyNews WHERE pkid in (select top 5 PKId from dbo.CompanyNews order by PKId) ) order by pkid 上面等价于= = 方
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值