mysql的进阶学习--应用篇--其他SQL语句的优化

在MySQL8.0中导入log格式的数据文件的解决方案 在MySQL8.0中导入log格式的数据文件时,报错 导入命令为 load data local infile '/root/sql1.log' into table 'tb_user_1' fields terminated by ',' lines terminated by '\n'; 报错 ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL 阅读详情

插入数据时的优化

批量插入

一次性插入的500到1000条是比较合适的, 不建议一次性插入超过一千条.
如果要插入几万条呢?
可以将其, 分割为多条SQL语句:

建议手动提交事务

多条插入语句时, 建议先开启事务, 将多条插入语句作为一个事务提交.

建议主键顺序插入

比起主键乱序, 性能要好的多.

大批量插入数据

例如说, 有一个业务要插入上百万, 上千万的数据记录.
此时使用insert的性能就太低了, 此时可以使用MySQL数据库提供的load指令进行插入, 操作如下:
在这里插入图片描述
左侧就是原始的磁盘文件结构, 右侧就是load进来之后的表
说明, 符合一定规则的文件, 不一定时逗号, 可以时冒号, 等等
演示:
客户端连接服务端时, 加上参数 --local-infile -u root -p
mysql --local-infile -u root -p
设置全局参数local_infile为1, 开启从本地加载文件导入数据的开关
set global local_infile = 1;
执行load指令将准备好的数据, 加载到表结构中
load data local infile '/root/sql1.log' into table 'tb_user' fields terminated by ',' lines terminated by '\n';

主键优化

数据组织方式

在InnoDb存储引擎中, 表数据都是根据主键顺序组织存放的, 这种存储方式的表称为索引组织表.

对于聚集索引来说, 下面存放的是, 表的行数据.

如果主键乱序插入, 可能会出现页分裂现象

有页分裂就有页合并

在这里插入图片描述
在这里插入图片描述

主键设计原则

在这里插入图片描述

order by 优化

group by 优化

limit 优化

count 优化

update优化

SQL优化篇 - MySQL查询select语句优化 使用MySQL,SQL优化,以及工作中实战的操作 阅读详情

相关推荐

【Ensp】FTP服务器设置和FTP解析

大部分的多媒体多媒体应用协议,如SIP,FTP,NetMeeting协议等,使用约定的固定端口来初始化一个控制连接,再动态地选择端口用于数据传输,并且这些端口选择是不可预测的。在防火墙设置时,可以通过ASPF(应用层报文过滤)中的Server Map表来满足多通道协议的正常工作,它正常检测应用层报文信息,并动态地根据报文内容创建和删除临时的Server Map表项,以允许其它非约定端口通过防火墙。(5)我们可以在路由器或能访问ftp服务器的设备上,通过cli命令行的方式来访问ftp服务器。

进击的小小白 1863

MySQL 批量操作,一次插入多少行数据效率最高?

MySQL 批量操作,一次插入多少行数据效率最高?

weixin_42113716的博客 1861

京东礼品卡绑定技术解析与安全验证实践

电商系统开发中,卡券绑定是常见的业务场景,其核心在于安全验证机制的设计与实现。从技术原理来看,现代验证系统通常采用多层防护,包括前端数据加密、行为验证(如滑块验证)和风控校验等关键技术。这些机制通过设备指纹采集、请求签名验证等方式,有效防范自动化攻击。在实际工程实践中,开发者需要特别关注接口鉴权流程,正确处理安全令牌(如st/vt令牌)和请求签名。京东礼品卡绑定作为典型案例,展示了如何平衡用户体验与系统安全,其验证系统会持续升级,需要开发者跟踪接口变化。对于企业级应用,建议采用混合模式技术方案,结合浏览器自

weixin_28607671的博客 234

8.MySQL之SQL优化(insert 优化,主键优化,页分裂,页合并,order by优化,group by优化,limit 优化,count 优化,update 优化,千万级数据生成方法)

8.1. insert 优化 当数据有多条时,建议: insert into 表 values(值,值,...),(值,值,...),...; 当数据较多时,建议: start transaction; insert into 表 values(值,值,...),(值,值,...),...; insert into 表 values(值,值,...),(值,值,...),...; insert into 表 values(值,值,...),(值,值,...),...; ... commit;

qq_46656580的博客 2449

手把手教你用AirSim生成无人机训练数据集:RGB/深度图/分割图全攻略

本文详细介绍了如何使用AirSim仿真插件在UE4环境中生成无人机训练数据集,涵盖RGB、深度图和分割图等多种模态数据的采集与处理。通过实战指南,读者可以掌握环境配置、多模态数据采集、自动化流程设计及数据后处理等关键技术,为无人机视觉算法开发提供高质量训练数据。

weixin_29008805的博客 449

Python爬虫(一)京东商品价格及详情页抓取

这是一个以http://item.jd.com/2957726.html为例的单网页抓取案例 import urllib.request; #载入urllib.request,用于获取页面html源代码 from pandas import Series; #载入series包 from pandas import DataFrame; #载入dataframe包 from bs4 impo

Data Proc 1万+

【MySQL进阶教程】SQL优化

本文为 【MySQL进阶教程】SQL优化相关知识,下边将对主键优化,order by优化,group by优化,limit优化,count优化,update优化等进行详尽介绍~

小新要变强的博客 4152

VMware 15 虚拟机安装Ubuntu 18.04

这几年在自动化、计算机之间游来游去,最近又要做机器学习相关的课题,14年做的虚拟机实在不堪重用了,OK,我们重新开始。 VMware的安装就不再赘述了,目前最新版本是15.0.2,官方下载地址: https://my.vmware.com/en/web/vmware/info/slug/desktop_end_user_computing/vmware_workstation_pro/15_0...

略懂 2万+

[MySQL]SQL优化之sql语句优化

SQL查询优化在MySQL数据库中是提高性能的关键步骤之一。本文总结了一系列针对SQL查询的优化技巧,以帮助开发者改善查询性能,降低系统负载。

Panci_的博客 1491

BUCK降压电路设计实战:从理论到PCB的完整指南

本文详细介绍了BUCK降压电路的设计实战,从基础原理到PCB布局的完整指南。通过关键部件选型、PCB布局黄金法则和调试技巧,帮助工程师高效设计稳定可靠的开关电源。特别针对电感、MOSFET和电容选型提供实用公式和避坑指南,并分享高温环境下的工程经验与测试方法。

weixin_33744141的博客 455

仿真学习系列(三十八):Sigrity仿真之单端S参数提取

S 参数(Scattering Parameters)是高速信号分析中最基础也最常用的指标,能够全面表征走线、过孔、连接器等互连结构的高频行为。在 Sigrity PowerSI 中,Model Extraction 是最常用的 S 参数提取方式,适用于高速差分线、单端线、过孔、参考平面等各种拓扑结构。 本节将通过示例讲解如何在 PowerSI 中完成一次完整的 S 参数提取流程,包括:对象选择、端口设置、频率范围配置以及结果查看。掌握此方法后,即可对任意高速网络执行阻抗、插损、回损、串扰分析,为进一步的

案例文章,高速信号 838

【SQL】Mysql中一条sql语句的执行过程

假设写完 redo log 后,机器挂了,binlog 日志没有被写入,那么机器重启后,这台机器会通过 redo log 恢复数据,但是这个时候 binlog 并没有记录该数据,后续进行机器备份的时候,就会丢失这一条数据,同时主从同步也会丢失这一条数据。然后拿到查询的语句,把 age 改为 19,然后调用引擎 API 接口,写入这一行数据,InnoDB 引擎把数据保存在内存中,同时记录 redo log,此时 redo log 进入 prepare 状态,然后告诉执行器,执行完成了,随时可以提交。

double222222的博客 3452

利用R批量计算相关系数

批量求相关系数

weixin_52073820的博客 1458

MySQL 数据库 SQL 语句全面解析与实战总结

在《MySQL 数据库技术》课程中,SQL 语句是核心知识体系。本文从语法规范、应用场景、易错点及实战案例四个维度,对 MySQL 常用 SQL 语句进行系统性整理,结合官方文档(参考 MySQL 8.0 官方文档 )和实战经验,帮助读者构建完整的 SQL 知识框架。目录前言一、数据定义语言(DDL)1. CREATE 语句​2. ALTER 语句​二、数据操作语言(DML)1.INSERT 语句2.UPDATE 语句三、数据查询语言(DQL)1. SELECT 语句2. 聚合函数。

2501_91809383的博客 2196

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

mysql进阶优化篇04——深入JOIN语句的底层原理

深入介绍JOIN语句的底层原理,并介绍8.0的新特性Hash Join,建议收藏备用

半旧518的博客 2362

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

【MySQL数据库】MySQL高级语句(SQL语句进阶版)

功能等价性:这三个查询在功能上是等价的,它们都用于找出仅在location表中存在而不在store_info表中的Store_Name,且结果中没有重复。性能考虑:在实际应用中,不同数据库系统对NOT INLEFT JOIN和UNIONGROUP BYHAVING的处理效率可能有所不同。通常,LEFT JOIN和NOT EXISTS(虽然这里未使用)可能在某些数据库系统中比NOT IN更高效,尤其是在处理大型数据集时,因为NOT IN可能会受到子查询返回大量结果时性能下降的影响(称为“子查询的爆炸”)。

Karoku的博客 1484

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

MySQL性能优化篇之SQL语句优化

一般谈论性能优化是指查询性能的优化,导致查询慢的原因主要是访问的数据太多了。大部分性能低下的查询都可以通过减少访问的数据量的方法进行优化

永乐的博客 1401

Sql(sql语句优化,索引设计优化)

Sql(sql语句优化,索引设计优化)

轻言细语莫泪痕 1954

MySQL相关(终结篇二)- SQL 语句分析与优化

前言 正文 优化器——SQL 语句分析与优化 优化器就是对我们的 SQL 语句进行分析,生成执行计划。 我们做项目的时候,有时会收到 DBA 的邮件,里面列出了我们项目上几个耗时比较长的查询语句,让我们去优化,这些语句是从哪里来的呢? 我们的服务层每天执行了这么多 SQL 语句,它怎么知道哪些 SQL 语句比较慢呢?首先,我们要把 SQL 执行情况记录下来。 慢查询日志 slow query lo...

weixin_42669785的博客 1184

Mysql进阶-SQL优化篇

在分组操作中,我们需要通过以下两点进行优化,以提升性能:A. 在分组操作时,可以通过索引来提高效率。B. 分组操作时,索引的使用也是满足最左前缀法则的。

weixin_64133130的博客 806

MYSQL中如何查询及优化慢SQL语句

1.开启profiling功能在MySQL中,profiling功能可以帮助你分析SQL查询的性能。默认情况下,profiling1)2)执行要查看时间的sql语句,例如:select * from user;3)如何调用方法:SHOW PROFILES;查看执行时间。其中Duration为SQl执行时间,Query即为执行的SQL语句。2.使用EXPLAIN分析查询使用EXPLAIN或来查看SQL的执行计划。这可以帮助你理解查询是如何执行的,例如是否使用了正确的索引,是否进行了全表扫描等。1)id。

2201_75656709的博客 1703

MySql 常用SQL语句、 SQL优化

SQL语句主要分为五类:数据定义语言(DDL)用于管理数据库结构,数据查询语言(DQL)用于检索数据,数据操纵语言(DML)用于增删改数据,数据控制语言(DCL)用于权限管理,事务控制语言(TCL)用于事务管理。键约束方面,超键能唯一标识行,候选键是最小超键,主键是选定的候选键,外键则关联表间数据。SQL约束包括非空、唯一、主键、外键、检查及默认值约束,确保数据完整性。

weixin_44289947的博客 1338

面试八股之MySQL篇3.3——SQL优化经验篇—— SQL语句优化

🔥本篇概览:详细讲解了SQL语句优化

做一个善良的人,做好自己的事,如果愿意,再发一份光。 1000

MySQL14 - 调优之SQL语句的优化

MySQL14 - 调优之SQL语句的优化

qq_43350524的博客 1181

MySQL 如何优化SQL查询语句

优化 MySQL 的 SQL 查询语句需要从索引、查询逻辑、数据库设计、配置等多方面入手。优化 SQL 需结合具体场景,通过索引、改写查询、调整设计、优化配置等综合手段提升性能。)并使用工具(如 Percona Toolkit)分析是持续优化的关键。使用连接池(如 HikariCP)避免频繁创建连接,调整。避免单表过多字段,可垂直拆分(如将大字段分离到副表)。读多写少的场景可适当冗余字段(如统计字段),减少。:使用 InnoDB 行锁,避免长事务。索引包含查询所需字段,避免回表。(使用的索引)等字段。

sheji888的专栏 945

MySQL SQL语句性能优化

查询设计:减少数据量,避免复杂计算和函数操作。索引使用:合理创建索引,利用覆盖索引。表结构:垂直拆分和水平分区,选择合适的数据类型。配置优化:调整缓存和连接池,启用慢查询日志。其他技巧:避免临时表和锁表,使用批量插入和定期优化表。分析工具:使用 EXPLAIN 分析查询执行计划。

weixin_44876263的博客 1680
上一篇: mysql的进阶学习--应用篇--索引
下一篇: mysql的进阶学习--应用篇--视图, 存储过程, 触发器
码儿快跑~
博客等级 码龄8年 51粉丝 170原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值