MySQL海量查询优化 - 个人总结1

最新推荐文章于 2025-09-07 13:03:10 发布
原创 最新推荐文章于 2025-09-07 13:03:10 发布 · 142 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mysql #数据库

本文介绍了一些SQL优化技巧，包括使用JOIN时确保使用索引，避免使用UNION ON和OR，使用COUNT(*)而非COUNT(ID)计数，设置NOT NULL约束，选择合适的数据类型，精确指定SELECT查询的字段，尽量不在SQL中做数值计算等。
  • JOIN 后的的条件必须是索引，最好是唯一索引，否则数据一旦很多会直接卡死
  • 一般禁止使用UNIION ON，除非UNION ON 前后的记录数很少 
  • 禁止使用OR
  • 查总数使用COUNT(*)就可以，不需要COUNT(ID)，MYSQL会自动优化
  • 数据库字段设置 NOT NULL，字段类型 INT > VARCHAR 越小越好
  • 禁止SELECT  * ，需要确定到使用的字段
  • 一般情况不在SQL中进行数值计算
  • SQL要写的简洁明了

 

mysql优化指南之优化篇
weixin_36098377的博客
02-22 1219
现在的理解数据库优化有四个维度，分别是：硬件升级、系统配置、表结构设计、SQL语句及索引。那优化的成本和效果分别如下：优化成本：硬件升级>系统配置>表结构设计>SQL语句及索引。优化效果：硬件升级由下图可以看出性价比排名也是硬件升级。
MySQL/Oracle数据库优化总结（非常全面）
热门推荐
Java仗剑走天涯
08-21 6万+
MySQL/Oracle数据库优化总结（非常全面）
mysql查询最新记录 海量_数据量超大的实时查询，如何设计方案？
weixin_39767645的博客
01-28 638
这个是分布式时序数据库的典型场景。提供一个使用DolphinDB解决类似场景的案例。(1) 客户几百个业务场景，每天产生200多亿条时序日志记录(每条记录10个字段左右，维度+指标)，所有数据写入采用双副本，并提供强一致性保证。每天产生数据2个T，双副本大概4个T，压缩之后1个T。数据保留15天左右。(2)写入的同时有并发的查询和计算。大概分三种。根据业务场景和时间范围，读取原始数据，每次读取最近...
Day517.索引优化与查询优化 -mysql
阿昌爱Java
01-23 2048
索引优化与查询优化 一、数据准备 学员表 插 50万 条， 班级表 插 1万 条。 步骤1：建表 #班级表 CREATE TABLE `class` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `className` VARCHAR(30) DEFAULT NULL, `address` VARCHAR(40) DEFAULT NULL, `monitor` INT NULL , PRIMARY KEY (`id`) ) ENGINE=INNODB AUTO_INCREM
MySQL 高级篇 -- 查询优化及索引优化
L小Ray想有腮
03-26 2977
关于索引失效的场景、查询优化的手段、索引优化的方法以及如何设计主键。
三种 MySQL 大表优化方案
Admans的专栏
05-30 941
方案一：优化现有mysql数据库。优点：不影响现有业务，源程序不需要修改代码，成本最低。缺点：有优化瓶颈，数据量过亿就玩完了。方案二：升级数据库类型，换一种100%兼容mysql的数据库。优点：不影响现有业务，源程序不需要修改代码，你几乎不需要做任何操作就能提升数据库性能，缺点：多花钱方案三：一步到位，大数据解决方案，更换newsql/nosql数据库。优点：扩展性强，成本低，没有数据容量瓶颈，缺点：需要修改源程序代码以上三种方案，按顺序使用即可，数据量在亿级别一下的没必要换nosql，开发成本太高。
MySQL笔记：第10章_索引优化与查询优化
IAMLSL的博客
03-19 4050
都有哪些维度可以进行数据库调优?简言之: 索引失效、没有充分利用到索引―索引建立 关联查询太多JOIN（设计缺陷或不得已的需求)――SQL优化 服务器调优及各个参数设置（缓冲、线程数等）――调整my.cnf 数据过多――分库分表 关于数据库调优的知识点非常分散。不同的DBMS，不同的公司，不同的职位，不同的项目遇到的问题都不尽相同。这里我们分为三个章节进行细致讲解。 虽然SQL查询优化的技术有很多，但是大方向上完全可以分成物理查询优化和逻辑查询优化两大块： 物理查询优化是通过索引和表连接方式等技术来进
MySQL高级篇知识点——索引优化与查询优化
代码星辰的博客
09-03 5530
索引优化与查询优化
《MySQL高级篇》八、索引优化与查询优化
LXYDSF的博客
08-31 5633
《MySQL高级篇》八、索引优化与查询优化
Mysql查询+hiveSQL查询+SparkSQL查询对比(个人总结)
qq_23669881的博客
10-23 4000
1.首先讲下Mysql吧,适用于实时性的查询,一般使用场景都是通过走B+树索引,来让查询效率维持在毫秒级。但是缺点也很明显,举个例子查询的量过大,有百万级别,Mysql直接OOM了。存在性能的瓶颈。而hiveSQL和sparkSQL的查询不存在这种问题，计算完成后的数据都是分布式存储的。 2.所以和Mysql对比,hiveSQL查询和sparkSQL查询都是分布式上的操作了,假设两种查询都是查询的hive表，hive表底层存储的数据方式依赖于HDFS(一个分布式的文件存储系统),hiveSQL会转化.
MySQL-数据库管理：优化、安全、合规与迁移的全面解析
LUSIYUANGASTER的博客
07-08 1325
数据库作为企业信息系统的核心组成部分，其管理、优化、安全、合规性、迁移与升级等方面的工作对于保障数据完整性、提升业务效率、维护用户隐私以及遵守法律法规至关重要。数据库管理：有效的数据库管理包括合理规划数据库架构、实施严格的访问控制和权限管理、定期备份与恢复数据、以及监控数据库性能等关键措施。这些措施有助于确保数据库的稳定运行和高效性能。数据库优化：数据库优化是提高查询效率、减少资源消耗、提升用户体验的重要手段。通过索引优化、查询优化、表结构优化以及使用缓存和分区等技术，可以显著提升数据库的性能和响应速度。
腾讯云TDSQL-C 与传统MySQL对比
最新发布
qq_24425451的博客
09-07 1562
传统MySQL是单机数据库的经典实现，适合简单、小规模场景；而TDSQL是为分布式、高并发、高可用场景设计的企业级数据库，通过兼容MySQL降低迁移成本，同时提供弹性扩展、金融级容灾等高级特性。选型建议：中小规模、简单业务优先用传统MySQL（或云数据库MySQL版，如腾讯云CVM上的MySQL）；大规模、核心业务、高可用需求场景，优先选择TDSQL。
Java面试：数据源 javax.sql.DataSource
ScorpC的博客
07-09 2018
DataSource数据源 是JDK1.4之后提供的用来获得连接的工厂，用来替代DriverManager。 数据库连接池：是一种具体的数据源的实现方式。 数据库连接池工作原理: 当服务器启动时，首先初始化一些链接放在连接池中，等待客户端请求链接，如果客户端请求链接了，首先查看连接池中是否有可用的链接，如果有则返回，如果没有则查看当前的连接数是否超过了最大可用链接，如果没有超过则创建新的链...
lock in share mode 和 for update的区别
ScorpC的博客
01-25 1274
for update与lock in share mode是应用于并发情况下对数据进行加锁操作，举例假设：Session A(先)、Session B(后)来描述并发操作。 select ... lock in share mode，是IS锁(意向共享锁)，在符合条件的rows上都加了共享锁，因此其他session可以读取这些记录，也可以继续添加IS锁，但是无法修改这些记录直到你这个加锁的Session A执行完成(否则直接锁等待超时)。 select ... for update，是IX锁(.
MySQL插入百万条数据 - 个人总结1
ScorpC的博客
12-18 880
有好多种方法。。。之前也总结了一些，但放到现在来看，效率都一般，于是重新思考总结这个问题； 觉得比较好的方法如下：（推荐方法二） 方法一：使用存储过程procedure 每次insert的时候mysql都会自动提交，然后会有其他的一些耗时的操作，所以。。。。。取消掉自动提交不就好了嘛。。。直接 SET AUTOCOMMIT=0; drop table if exists test; create table test (c1 int(11) default NULL,c2 varchar(3
数据库：组合索引
ScorpC的博客
02-19 747
组合索引多字段是有序的，并且是个完整的BTree 索引，有最左原则。 最左原则： 多列索引是先按照第一列进行排序，然后在第一列排好序的基础上再对第二列排序，如果没有第一列的话，直接访问第二列，那第二列肯定是无序的，直接访问后面的列就用不到索引了。 搜索需要从根节点出发，上层节点对应靠左的值，搜索需要从根节点出发，否则不从根节点出发，后面的节点对应下层的值，依旧是乱序的，需要遍历，所以索引就失效了...
常用数据库（一）SQLite
ScorpC的博客
05-05 713
SQLite 是遵守ACID的关系数据库管理系统，它包含在一个相对小的C程序库中。与许多其它数据库管理系统不同，SQLite不是一个客户端/服务器结构的数据库引擎，而是被集成在用户程序中。 SQLite遵守ACID，实现了大多数SQL标准。它使用动态的、弱类型的SQL语法。[4]它作为嵌入式数据库，是应用程序，如网页浏览器，在本地/客户端存储数据的常见选择。它可能是最广泛部署的数据库引擎，因
关于com.mysql.cj.jdbc.Driver的问题
ScorpC的博客
08-10 689
日常使用数据的过程中，基本没出啥问题，直到最近更新了mysql的版本之后，出现了各种莫名其妙的问题， com.mysql.cj.jdbc.Driver 是 mysql-connector-java 6中 的； 而我的mysql版本是8版本的，之前是用com.mysql.jdbc.Driver , 也就是mysql-connector-java 5中的， 总是出现各种问题，经过自己不断试错...
数据库：锁 总结
ScorpC的博客
06-15 381
一. 数据库锁 分类： 从程序员角度分：乐观锁、悲观锁； 从数据库机制上分：共享锁、排他锁； 按照锁的粒度分：行级锁和表级锁； 数据库锁出现的原因是为了处理并发问题，因为数据库是一个多用户共享的资源，当出现并发的时候，就会导致出现各种各样奇怪的问题，就像程序代码一样，出现多线程并发的时候，如果不做特殊控制的话，就会出现意外的事情，比如“脏“数据、修改丢失等问题。 所以数据库并发需要使用事...
个人开发的Spring框架操作MySQL Demo
在农业领域使用大数据技术，可以提高农作物种植的智能化水平，通过分析海量的农业数据来优化种植策略、预测收成、病虫害控制等。使用Spring框架可以帮助构建能够处理大量数据和复杂数据流的应用程序，并且利用Spring...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值