MySQL优化 - 整理的十八条MySQL优化技巧

MySQL/Oracle数据库优化总结(非常全面) 阅读详情

    初入MySql的新手都以为使用 MySQL 是非常的简单的,无非都是select from where group by order by这个格式套来套去;从来不会关注可考虑 SQL 的耗费时长,更不会关注查询的性能。

目录

 前言:

一、MySql索引优化

二、SQL 优化

三、MySql数据表设计优化


前言:

    但是当用户量上来了,表数据不断暴增,导致我们以前写的 SQL 的查询时间越来越长,最后还被 DBA 和领导疯狂吐槽一波。那么,此时我们是不是应该学习一下如何去优化我们的烂 SQL 呢?

下面,我将从多方面去深入分析MySQL 。并整理了十八条关于MySQL优化技巧。

 

一、MySql索引优化

索引的数据结构是 B+Tree,而 B+Tree 的查询性能是比较高的,所以建立索引能提升 SQL 的查询性能。

1、建立普通索引

对经常出现在 where 关键字后面的表字段建立对应的索引。

2、建立复合索引

如果 where 关键字后面常出现的有几个字段,可以建立对应的 复合索引。要注意可以优化的一点是:将单独出现最多的字段放在前面。

例如现在我们有两个字段 a 和 b 经常会同时出现在 where 关键字后面:

select * from t where a = 1 and b = 2;   \* Q1 *\

也有很多 SQL 会单独使用字段 a 作为查询条件:

select * from t where a = 2;   \* Q2 *\

此时,我们可以建立复合索引 index(a,b)。因为不但 Q1 可以利用复合索引,Q2 也可以利用复合索引。

3、最左前缀匹配原则

如果我们使用的是复合索引,应该尽量遵循 最左前缀匹配原则。MySQL 会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配。

假如此时我们有一条 SQL :

select * from t where a = 1 and b = 2 and c > 3 and d = 4;

那么我们应该建立的复合索引是:index(a,b,d,c) 而不是 index(a,b,c,d)。因为字段 c 是范围查询,当 MySQL 遇到范围查询就停止索引的匹配了。

大家也注意到了,其实 a,b,d 在 SQL 的位置是可以任意调整的,优化器会找到对应的复合索引。

还要注意一点的是:最左前缀匹配原则不但是复合索引的最左 N 个字段;软盟网小编认为也可以是单列(字符串类型)索引的最左 M 个字符。

  • 例如我们常说的 like 关键字,尽量不要使用全模糊查询,因为这样用不到索引;
  • 所以建议是使用右模糊查询:select * from t where name like '李%'(查询所有姓李的同学的信息)。

4、索引下推

很多时候,我们还可以复合索引的 索引下推 来优化 SQL 。

例如此时我们有一个复合索引:index(name,age) ,然后有一条 SQL 如下:

select * from user where name like '苏%' and age = 10 and sex = 'm';

根据复合索引的最左前缀匹配原则,MySQL 匹配到复合索引 index(name,age) 的 name 时,就停止匹配了;然后接下来的流程就是根据主键回表,判断 age 和 sex 的条件是否同时满足,满足则返回给客户端。

但是由于有索引下推的优化,匹配到 name 时,不会立刻回表;而是先判断复合索引 index(name,age) 中的 age 是否符合条件;符合条件才进行回表接着判断 sex 是否满足,否则会被过滤掉。

那么借着 MySQL 5.6 引入的索引下推优化 ,可以做到减少回表的次数。

5、覆盖索引

很多时候,我们还可以 覆盖索引 来优化 SQL 。

情况一:SQL 只查询主键作为返回值。

主键索引(聚簇索引)的叶子节点是整行数据,而普通索引(二级索引)的叶子节点是主键的值。

所以当我们的 SQL 只查询主键值,可以直接获取对应叶子节点的内容,而避免回表。

情况二:SQL 的查询字段就在索引里。

复合索引:假如此时我们有一个复合索引 index(name,age) ,有一条 SQL 如下:

select name,age from t where name like '苏%';

由于是字段 name 是右模糊查询所以可以走复合索引,然后匹配到 name 时,不需要回表,因为 SQL 只是查询字段 name 和 age,所以直接返回索引值就 ok 了。

6、普通索引

尽量 使用普通索引 而不是唯一索引。

首先,普通索引和唯一索引的查询性能其实不会相差很多;当然了,前提是要查询的记录都在同一个数据页中,否则普通索引的性能会慢很多。

但是,普通索引的更新操作性能比唯一索引更好;其实很简单,因为普通索引能利用 change buffer 来做更新操作;而唯一索引因为要判断更新的值是否是唯一的,所以每次都需要将磁盘中的数据读取到 buffer pool 中。

7、前缀索引

我们要学会巧妙的使用 前缀索引,避免索引值过大。

例如有一个字段是 addr varchar(255),但是如果一整个建立索引 [ index(addr) ],会很浪费磁盘空间,所以会选择建立前缀索引 [ index(addr(64)) ]。

建立前缀索引,一定要关注字段的区分度。例如像身份证号码这种字段的区分度很低,只要出生地一样,前面好多个字符都是一样的;这样的话,最不理想时,可能会扫描全表。

前缀索引避免不了回表,即无法使用覆盖索引这个优化点,因为索引值只是字段的前 n 个字符,需要回表才能判断查询值是否和字段值是一致的。

怎么解决?

倒序存储:像身份证这种,后面的几位区分度就非常的高了;我们可以这么查询:

select field_list from t where id_card = reverse('input_id_card_string');增加 hash 字段并为 hash 字段添加索引。

8、干净的索引列

索引列不能参与计算,要保持索引列“干净”。

假设我们给表 student 的字段 birthday 建立了普通索引。

下面的 SQL 语句不能利用到索引来提升执行效率:

select * from student where DATE_FORMAT(birthday,'%Y-%m-%d') = '2020-02-02';

我们应该改成下面这样:

select * from student where birthday = STR_TO_DATE('2020-02-02', '%Y-%m-%d');

9、扩展索引

我们应该尽量 扩展索引,而不是新增索引,一个表最好不要超过 5 个索引;一个表的索引越多,会导致更新操作更加耗费性能。

二、SQL 优化

1、Order By 优化

order by 后面的字段尽量是带索引的,这样能避免使用 sort_buffer 进行排序。

  • 假如有一条 SQL,根据生日查询所有学生的信息:select * from student order by birthday desc;
  • 那么为了提升 SQL 的查询性能,我们可以为 birthday 字段建立索引:
CREATE INDEX index_birthday ON student(birthday);

select 后面不要带上不必要的字段,因为如果单行长度太长导致查询数据太多,MySQL 会利用 rowid 排序来代替全字段排序,这样会导致多了回表的操作。

  • 如果我们只是查询学生的姓名、年龄和生日,千万不要写 select *;
  • 而是只查询需要的字段:select name, age, birthday from student order by birthday desc;

2、Join 优化

  • 在使用 join 的时候,应该让小表做驱动表。小表:总数据量最小的表
  • 使用 join 语句,最好保证能利用被驱动表的索引,不然只能使用 BNL(Block Nested-Loop Join)算法,还不如不用。
  • 启用 BKA(Batched Key Access) 算法,使得 NLJ 算法也能利用上 join_buffer,被驱动表可以批量查询到符合条件的值,然后可以利用 MMR(Multi-Range Read) 的顺序读盘特性来提升回表效率。
  • 如果一定要用 join,而且被驱动表没有索引可以使用,那么我们可以利用临时表(create temporary table xx(...)engine=innodb;)来让 BNL 算法转为 BKA 算法,从而提升查询性能。
  • join_buffer 是一个无序数组,所以每次判断都需要遍历整个 join_buffer。我们可以在业务端实现 hash join 来提升 SQL 的执行速度。

3、Group By 优化

  • 如果对 group by 语句的结果没有排序要求,要在语句后面加 order by null。
  • 尽量让 group by 过程用上表的索引,不但不需要临时表,还不需要额外的排序。
  • 如果 group by 需要统计的数据量不大,尽量只使用内存临时表;也可以通过适当调大 tmp_table_size 参数,来避免用到磁盘临时表。
  • 如果数据量实在太大,使用 SQL_BIG_RESULT 这个提示,来告诉优化器直接使用排序算法得到 group by 的结果。

4、OR 优化

在 Innodb 引擎下 or 关键字无法使用组合索引。

假设现在关于订单表有一条 SQL :

select id,product_name from orders where mobile = '12345678900' or user_id = 6;

一般我们为了提升上面 SQL 的查询效率,会想着为字段 mobile 和 user_id 建立一个复合索引 index(mobile,user_id);

可是我们使用 explain 可以发现执行计划里面并没有提示到使用复合索引,所以 or 关键字无法命中 mobile + user_id 的组合索引。

那么我们可以分别为两个字段建立普通索引,然后采用 union 关键字,如下所示:

(select id,product_name from orders where mobile = '12345678900') 
union
(select id,product_name from orders where user_id = 6);

此时 mobile 和 user_id 字段都有索引,查询才最高效。

5、IN 优化

in 关键字适合主表大子表小,exist 关键字适合主表小子表大。由于查询优化器的不断升级,很多场景这两者性能差不多一样了,可以尝试改为 join 查询。

假设我们现在有一条 SQL ,要查询 VIP 用户的所有订单数据:

select id from orders where user_id in (select id from user where level = 'VIP');

我们可以发现不会有任何关于索引的优化,所以我们可以采用 join查询,如下所示:

select o.id from orders o join user u on o.user_id = u.id and u.level = 'VIP';

此时被驱动表应该是 user,那么可以利用到 user 表的主键索引,即可以使用 BKA 算法来提升 join 查询的性能。

6、Like 优化

like 用于模糊查询,但是如果是全模糊查询,将不能命中对应字段的索引。

假设现在关于学生表有一条 SQL:

SELECT name,age,birthday FROM student WHERE name like '%苏%';

使用 explain 可以发现执行计划提示查询未命中索引。

因为本来需求就是查询姓张的所有同学信息,所以没必要使用全模糊查询,使用右模糊查询即可。

换成下面的写法:

SELECT name,age,birthday FROM student WHERE name like '苏%';

但是产品经理一定要前后模糊匹配呢?全文索引 FULLTEXT 可以尝试一下,但是 MySQL 的全文索引不支持中文查询的。

所以说 Elasticsearch 才是终极武器!

 

三、MySql数据表设计优化

1、数据类型:应该选择更简单或者占用空间更小的类型。

  • 整型选择:可以根据长度选择 tinyint、smallint、medium_int,而不是直接使用 int。
  • 字符串选择:能确定字符串长度的,尽量使用 char 类型,而不是变长的 varchar 类型。
  • 浮点型选择:精度要求比较高的使用 decimal 而不是 double;也可以考虑使用 BIGINT 来保存,小数位保存可以使用乘以整百来解决。
  • 日期选择:尽量使用 timestamp 而不是 datetime。

2、避免空值:

  • NULL 值依然会占用空间,并且会使索引更新更加复杂,更新 NULL 时容易发生索引分裂的现象。
  • 可以使用有意义的值来代替 NULL 值,例如 “none” 字符串等等。

3、超长字符串:

  • 一般超长字符串,varchar 难以存储,我们一般会使用 text 类型。
  • 但是 text 类型的字段尽量避免放在主表中,而是抽出来在子表里,用业务主键关联。

 

 

MySQL常见的几种优化方案 注:原始资料来自享学课堂,自己加上整理和思考 思考sql优化的几个地方,我把他做了个分类,方便理解 select [字段 优化1] from [表格 优化2] where [条件 优化3] union [联合查询 优化4] 新建表格 CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键', `name` varchar(50) DEFAULT NULL COMMENT '姓名', 阅读详情

相关推荐

数据科学家如何与ChatGPT高效协同:七件事、十二个坑、三条生死线

大语言模型(LLM)本质是高阶统计压缩器与条件概率采样器,不具备因果推理、实时反馈和组织嵌入能力。在数据科学实践中,其核心价值在于增强人类效率——如代码补全、文档生成、术语翻译与实验辅助,而非替代问题定义、数据契约制定或业务决策。理解LLM的token机制局限(如长程依赖断裂、反事实推理缺失)是规避生产事故的前提;而真实落地的关键,在于明确人机分工边界:人类负责问题建模、跨部门对齐与责任闭环,LLM承担模式化、重复性、信息密集型任务。本文基于电商、金融、物流等多行业实战,拆解可复用的协同方法论与避坑清单。

weixin_34245082的博客 364

MySQL数据库优化的八种方式(经典必看)

MySQL/Oracle数据库优化总结(非常全面) 置顶2017年08月21日 21:05:30 阅读数:8442 MySQL数据库优化的八种方式(经典必看) 引言: 关于数据库优化,网上有不少资料和方法,但是不少质量参差不齐,有些总结的不够到位,内容冗杂 偶尔发现了这篇文章,总结得很经典,文章流量也很大,所以拿到自己的总结文集中,积累优质文章,提升个人能力,希望对大家今后开发中也有帮助 1、选取最适用的字段属性 MySQL可以很好的支持大数据量的存取,但是.

repoman的博客 3万+

ArcGIS | 全球新冠肺炎地图数据下载和处理

ArcGIS

thinkpang的博客 2901

实践中如何优化MySQL(精)

目录 ① SQL语句及索引的优化 SQL语句的优化: 1、尽量避免使用子查询 ​2、避免函数索引 3、用IN来替换OR 4、LIKE前缀%号、双百分号、_下划线查询非索引列或*无法使用到索引,如果查询的是索引列则可以 5、读取适当的记录LIMIT M,N,而不要读多余的记录 6、避免数据类型不一致 7、分组统计可以禁止排序sort,总和查询可以禁止排重用union all 8、...

张花生的博客 5万+

VisionPro实战:5个工业视觉检测案例详解(附代码片段)

本文详细解析了VisionPro在工业视觉检测中的5个实战案例,包括PCB焊点质量检测、汽车齿轮尺寸测量、药品包装缺陷检测等。通过硬件配置方案和软件算法流程的详细介绍,帮助工程师快速掌握VisionPro的应用技巧,提升工业自动化检测效率。

weixin_29284657的博客 524

红外气体检测方案解析:从NDIR原理到物联网终端设计实践

气体检测是工业安全与环境监测的核心需求,其技术原理主要基于气体分子对特定物理或化学信号的响应。非色散红外(NDIR)技术作为一种物理检测方法,通过测量气体分子对特定波长红外光的吸收来定量浓度,因其不依赖化学反应,具备寿命长、抗干扰强和响应快等优势。在工程实践中,红外气体检测方案的价值在于为物联网终端设备提供了高可靠、低功耗的感知能力,广泛应用于工业过程监控、环境空气质量监测以及智能家居安全预警等场景。本文以一套集成了Microchip MCU、Axetris红外光源和Pyreos热释电传感器的参考设计为例,

weixin_30954817的博客 397

Mysql 优化的几种方法

MySQL优化是指通过调整MySQL的各项参数和配置,以及优化SQL语句的编写和执行,提高MySQL系统的性能和可用性。MySQL优化的主要目标是尽可能快地响应用户请求,提高系统的处理能力和并发性能,减少资源消耗和硬件成本。MySQL优化涉及多个方面,包括:1.硬件配置:包括CPU、内存、磁盘等硬件资源的选择和配置,以满足系统的负载和性能需求。2.软件配置:包括MySQL的参数设置和调整,如缓存大小、连接数、并发处理数等,以适应不同的负载和访问模式。

兴趣是最好的老师,勤能补拙 7102

CorelDRAW 2019安装指南:从下载到激活的完整步骤

本文提供了一份详细的CorelDRAW 2019安装指南,涵盖从下载安装包、检查系统环境到完成激活的完整步骤。文章重点解析了安装过程中的关键选项设置,并分享了首次启动后的优化配置与常见问题解决方案,旨在帮助用户高效、顺利地完成这款经典矢量设计软件的安装与配置。

weixin_29213827的博客 850

mysql对大量数据的处理_【问题整理】MySQL大量数据去重处理

由于工作中需要进行数据去重,所以做一下记录,其实是很小白的问题。。。。其实对于数据去重来讲,最好的是在设计程序和数据库的时候就考虑到数据冗余问题,不插入重复的数据。但是呢,,,这个项目,如果其中的两个字段同时重复,就算冗余,但是还需要自增长的id作为主键方便查询。。。。so。。。算了,我写完数据自己去重吧。。。因为有大量的重复数据,所以选择的去重方法是通过聚合函数建立一个新的表,然后重命名。sql...

weixin_35903223的博客 1016

GD32重映射实战:从部分映射到完全映射的配置解析

本文深入解析GD32微控制器的重映射功能,以定时器1的PWM通道为例,详细阐述了从部分映射到完全映射的实战配置流程。文章重点介绍了AFIO模块的核心作用、配置寄存器操作以及关键的避坑指南,旨在帮助开发者灵活优化PCB布局并解决引脚资源冲突,从而高效利用芯片外设功能。

k6l7m8n9的博客 697

小米万兆路由器里的Docker安装可道云(Kodexplorer)私有网盘

小米2022年12月份发布了万兆路由器,里面可以使用Docker。 今天尝试在小米的万兆路由器里安装[可道云](http://kodcloud.com/)(Kodexplorer)私有网盘。

engchina的专栏 1万+

2025年AI工具实操地图:7款国产AI落地指南

AI工具已从概念演示迈入真实生产力阶段,其核心价值在于解决具体场景中的‘最后一公里’问题——即如何将自然语言指令转化为可执行、可验证、可复用的工作成果。理解AI工作原理需回归基础:它本质是基于大模型的条件生成系统,依赖高质量提示词触发结构化输出,并通过与本地办公生态(如钉钉、WPS、微信公众号)深度集成实现闭环。技术价值体现在降本增效、降低专业门槛、强化合规保障;典型应用场景覆盖公文写作、电商绘图、会议纪要、数据洞察、编程辅助、学习辅导及私有化部署。本文聚焦2025年真正通过实测验证的7款国产AI工具,突出

cuikuangru5755的博客 624

海康威视4G摄像头直连实战:不用萤石云,手把手教你用ISUP SDK搞定跨网段视频流

本文详细介绍了如何通过海康威视ISUP SDK实现4G摄像头的直连通信,提供了一套零平台费、自主可控的技术方案。文章涵盖技术选型、设备端配置、服务器端开发及高级应用场景,特别适合中小型安防项目,帮助开发者解决跨网段视频流传输难题,降低长期运营成本。

weixin_27076351的博客 472

​MySQL优化常用的19种方法​

SQL优化常用的19种方法​

wy971744839的博客 3485

C++多线程 task--std::promise和std::future

本文主要讲解C++11/14/17中所提供的应用于多线程编程中的Task机制。Task可由如下几部分取得而本文主要讲解std::promise和std::future相关的内容。std::promise和std::future通过一个数据管道进行交流,可以将std::promise看作生产者,std::future看作消费者,其两者形成如下的方式交互std::promise本身是一个模版类,通过std::promise可以像数据管道中设置value,异常和相应的通知信息。std::promise提供了如下接

qls315的博客 1819

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

解锁MySQL性能瓶颈!超实用的10种优化方法大揭秘

本文涵盖了索引设计、SQL查询优化、缓存配置、并发控制等多个方面。读者可以通过阅读该文章,了解如何有效地解决MySQL性能问题,并提升系统的响应速度和稳定性。 以上仅为MySQL性能监控和调优的一些常用方法,实际应用中还需要结合具体场景和实际需求来选择和优化相应的策略。建议在进行性能优化前,先对数据库系统进行全面的评估和分析,并考虑合适的监控工具和方法。

Lion_Long的博客 1万+

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

MySQL以及优化

可以直接从索引中读取所有需要的数据,即查询的数据就是索引的数据,而不需要回表查询(即访问表中的数据行),从而提高了查询性能。all:表示全表扫描,即没有使用索引,需要遍历整个表进行查询。

winks3的博客 2243

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

MySQL 优化器原来是这样工作的

MySQL 优化器使用基于成本的优化方式(Cost-based Optimization),利用内置的成本模型和数据字典信息以及存储引擎的统计信息决定使用哪些步骤实现查询语句,也就是查询计划。同时,MySQL 为我们提供了控制优化器的各种选项,包括控制优化程度、设置成本常量、统计信息收集、启用/禁用优化行为以及使用优化器提示等。

Tony.Dong的专栏 6367

Mysql的sql优化方法

Mysql的sql优化方法 1、选择最合适的字段属性 Mysql是一种关系型数据库,可以很好地支持大数据量的存储,但是一般来说,数据库中的表越小,在它上面执行的查询也就越快。因此,在创建表的时候,为了获得更好的性能,我们可以将表中字段的宽度舍得尽可能小。 例如:在定义邮政编码这个字段时,如果将其设置为char(255),显然给数据库增加了不必要的空间,甚至使用varchar这种类型也是多余的,因为char(6)就可以很好地完成了任务。同样的如果可以的话,我们应该是用MEDIUMINT而不是BIGINT来定

qq_41466437的博客 2185

优化Mysql数据库的8个方法

如果我们是在area和age上分别创建单个索引的话,由于mysql查询每次只能使用一个索引,所以虽然这样已经相对不做索引时全表扫描提高了很多效率,但是如果在area、age两列上创建复合索引的话将带来更高的效率。很多时候性能问题很简单的就是因为我们忘了添加索引而造成的,或者说没有添加更为有效的索引导致。本文通过8个方法优化Mysql数据库:创建索引、复合索引、索引不会包含有NULL值的列、使用短索引、排序的索引问题、like语句操作、不要在列上进行运算、不使用NOT IN和操作。

hdxx2022的博客 1638

彻底弄懂MySQL的优化

彻底弄懂MySQL的优化

qq_34798605的博客 1736

MySQL最全面的优化技巧

MySQL最全面的优化技巧

这个人很懒,什么都没有留下。 2571

MySQL优化详解

有 3 种方法可以加快 MySQL 服务器的运行速度,效率从低到高依次为: 升级硬件,比如升级服务器配置,磁盘换为SSD. 对 MySQL 进程的设置进行调优。 对查询进行优化。 升级硬件通常是我们的第一考虑,主要原因是数据库会占用大量资源。不过这种解决方案也就仅限于此了。实际上,您通常可以让CPU或磁盘速度加倍,也可以让内存增大 4 到 8 倍。 第二种方法是对 MySQL 服务器(也称...

黄规速博客:学如逆水行舟,不进则退 1万+

MySQL篇-SQL优化实战

常见的SQL优化措施有哪些?拿到一段SQL,怎么着手优化呢?

试着奔跑的菜鸟的博客 935

Mysql优化

今 天,数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显。关于数据库的性能,这并不只是DBA才需要担心的事,而这更是我 们程序员需要去关注的事情。当我们去设计数据库表结构,对操作数据库时(尤其是查表时的SQL语句),我们都需要注意数据操作的性能。这里,我们不会讲过 ...

cheyun8212的博客 290
上一篇: MySql中定时任务的操作方法
CodingYuan
博客等级 码龄7年 0粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值