MySQL

【重学 MySQL】二、MySQL 介绍 MySQL 是一种流行的开源关系型数据库管理系统(RDBMS),它使用结构化查询语言(SQL)来管理或操作数据库。MySQL 由瑞典的 MySQL AB 公司开发,并在 2008 年被 Sun Microsystems 收购,随后 Sun Microsystems 又被 Oracle Corporation 收购。尽管经历了多次所有权变更,MySQL 仍然保持着其开源和免费的特性,并且被广泛用于各种应用程序中,包括 Web 应用、数据仓库、电子商务网站等。 阅读详情

基础

当前读:读取的数据是最新版本的

快照读:读取的是历史版本的记录

索引

索引是帮助MySQL高效获取数据的排好序的数据结构

索引和实际的数据都是存储在磁盘的,只不过在进行数据读取的时候会优先把索引加载进内存

索引结构:二叉树 -> AVL树 -> 红黑树 -> B-树 -> B+树


普通索引:允许被索引的数据列包含重复的值

唯一索引:可以保证数据记录的唯一性

主键索引:一张表中只能定义一个主键索引,用于唯一标识一条记录

单值索引:索引只覆盖一个数据列

联合索引:索引覆盖多个数据列

全文索引:通过建立倒排索引,可以极大的提升检索效率,解决判断字段是否包含的问题,是目前搜索引擎使用的一种关键技术


聚簇索引:数据和索引是在一起的,树的叶子节点上的data就是该行数据

非聚簇索引:数据和索引是不在一起的,树的叶子节点上的data不是数据本身,而是数据存放的地址

聚簇索引的数据物理存放顺序和索引顺序是一致的,所以一个表中只能有一个聚簇索引,而非聚簇索引可以有多个

InnoDB中,如果定义了主键,那主键就是聚簇索引,如果过没有主键,就会找一个非空的unique列作为聚簇索引,否则,InnoDB会创建一个隐藏的row-id作为聚簇索引

索引设计原则:

1,适合索引的列是出现在where子句中的列,或者连接子句中的列

2,基数较小的表,索引效果较差,没有必要在此建立索引

3,使用短索引,如果对长字符串列进行索引,应该指定一个前缀长度,这样能够节省大量索引空间,如果搜索词超过前缀长度,使用索引排除不匹配的行,然后检查其余行是否可能匹配

4,不要过度索引,索引需要额外的磁盘空间,并降低写操作的性能,,在修改表内容时,索引会进行更新甚至重构,索引列越多,这个时间就会越长

5,定义有外键的数据列一定要建立索引

6,更新频繁的字段不适合建索引

7,若是不能有效区分数据的列不适合做索引列(如:性别)

8,尽量的扩展索引,不要新建索引

9,对于那些查询中很少涉及的列,重复值比较多的列不要建立索引

10,对于定义为text、image和bit的数据类型的列不要建立索引

常见存储引擎:

MyISAM:(非聚集)

1,索引文件和数据文件是分离的

      .frm:存储表结构

      .MYD:存储数据文件

      .MYI:存储索引文件

2,不支持事务,但是每次操作都是原子操作

3,支持表级锁,每次操作又是对整个表加锁

4,存储表的总行数

InnoDB:(聚集)

1,表数据本身就是按B+Tree组织的一个索引结构文件

      .frm:存储表结构

      .ibd:存储索引文件和数据文件

2,支持ACID事务,支持事务的四种隔离级别

3,支持行级锁,支持外键约束

4,不存储总行数


主键索引:叶子结点存放的是完整的数据记录

非主键索引:叶子节点存放的是索引所在行的主键,非主键索引查找到主键后,如果要找的数据在索引里,会进行回表,根据主键索引来查找出该行的全部数据


整形自增主键的作用:

主键:组建整张表的所有数据,提高性能;如果不建主键,mysql会找到能建唯一索引的列,用这列来组建整张表的所有数据,若未找到,mysql会维护一个隐藏列组织整张表的所有数据

整形:比较大小的时候速度快

自增:在增加元素的时候直接在最后面添加元素,在中间加入元素的话可能会导致B+树叶子节点分裂,树的结构变化,影响平衡。


buffer pool

是一块内存区域,当数据库操作数据的时候,把硬盘上的数据加载到buffer pool,不直接和硬盘打交道,操作的是buffer pool里面的数据

数据库的增删改查都是在buffer pool上进行,和undo log/redo log/redo log buffer/binlog一起使用,后续会把数据刷到硬盘上

默认大小 128M

free链表

是一个双向链表,链表节点是空闲的缓存页对应的描述信息块(空的缓存页)

作用:帮助我们找到空闲的缓存页

flush链表

是一个双向链表,链表结点是被修改过的缓存页的描述信息块(更新过的缓存页)

作用:帮我们找到脏缓存页,也就是需要刷盘的缓存页

LRU链表

是一个双向链表,链表结点是非空的缓存页对应的描述信息块(有数据的缓存页,包含更新过和未更新过的缓存页,范围比flush链表大,flush链表是它的子集)

作用:用来淘汰不常被访问的缓存页

LRU链表分为热数据区和冷数据区,冷数据区占了总链表的37.5%;冷数据区是不常访问的缓存页;热数据区是经常访问的缓存页

加载数据的时候,缓存页会放在冷数据区的头部

数据页加载到缓存页后,在1s之后,访问该缓存页,该缓存页会被移动到热数据区头部数据页刚加载到缓存页后,在1s之内,访问该缓存页,该缓存页是不会被移动到热数据区头部的

什么时候会lru中的缓存页刷盘并清空?

当缓存页用完的时候,把冷数据区尾部的缓存页刷盘清空,缓存页对应的信息描述块从lru链表中移除,加入到free链表当中

有一个后台线程,他会运行一个定时任务,这个定时任务每隔一段时间就会把LRU链表的冷数据区域的尾部的一些缓存页,刷入磁盘里去,清空这几个缓存页,把他们加入回free链表去;如果该缓存页也在flush链表中(该缓存页更新过),也需要把该缓存页从flush链表中移除

日志

redo log:重做日志(InnoDB特有)

作用:确保事务的持久性。防止在发生故障的时间点,尚有脏页未写入磁盘,在重启mysql服务的时候,根据redo log进行重做,从而达到事务的持久性这一特性。

在一条更新语句进行执行的时候,InnoDB引擎会把更新记录写到redo log日志中,然后更新内存,此时算是语句执行完了,然后在空闲的时候或者是按照设定的更新策略将redo log中的内容更新到磁盘中,在数据库进行异常重启的时候,可以根据redo log日志来数据,redo log日志的大小是固定的,即记录满了以后就从头循环写。

用于记录事务操作的变化,记录的是数据修改之后的值,不管事务是否提交都会记录下来。

如果事务提交成功,buffer pool里的数据还没来得及写入磁盘,此时系统宕机了,可以根据redo log日志里的数据恢复buffer pool里的缓存数据

binlog:归档日志(MySQL Server,所有的存储引擎都有的)

作用:保存了事务发生之前的数据的一个版本,可以用于回滚,同时可以提供多版本并发控制下的读(MVCC),也即非锁定读

追加写,是指一份写到一定大小的时候会更换下一个文件,不会覆盖。

记录的是这个更新语句的原始逻辑(SQL语句原文)

binlog可以作为数据库磁盘恢复数据使用,主从复制搭建

MySQL通过将主节点的binlog同步给从节点完成主从之间的数据同步

用于数据库的基于时间点的还原。

undo log:回滚日志(InnoDB特有)

如果事务提交失败要回滚数据,可以用undo log日志里的数据恢复buffer pool里的缓存数据

 事务

 ACID属性:

A原子性:事务是一个原子操作单元,其对数据的修改,要么全执行,要么全不执行。有undo log日志保证,它记录了需要回滚的日志信息。

C一致性:事务无论是成功还是失败,都必须保持事务内操作的一致性。当失败时,都要对前面的操作进行回滚,不管中途是否成功。由其他三大特征保证。

I 隔离性:当多个事务操作一个数据的时候,为防止数据损坏,需要将每个事务进行隔离,互不干扰。由MVCC来保证。

D持久性:事务完成之后,他对于数据的修改是永久性的。由内存+redo log日志来保证,mysql修改数据同时在内存和redo log记录这次操作,宕机的时候可以从redo log恢复

并发事务处理带来的问题:

更新丢失:两个事务选择同一行进行更新,最后的更新覆盖了其他事务所做的更新

脏读:一个事务读取到其他事务已修改但尚未提交的数据,并在其基础上做了修改,若其他事务回滚,则读取到的数据无效,不符合一致性要求

不可重复读:一个事务在读取某些数据后的某个时间,再次读取以前读过的数据,却发现读出的数据已经发生了改变、或某些记录已经被删除了

幻读:一个事务按相同的查询条件重新读取以前检索过的数据,却发现其他事务插入了满足其查询条件的新数据

事务隔离级别:

读未提交(READ UNCOMMINTTED):能够读取到没有被提交的数据,所以很明显这个级别的隔离机制无法解决脏读、不可重复读、幻读中的任何一种

读已提交(READ COMMINTTED):能够读到那些已经提交的数据,自然能够防止脏读,但是无法限制不可重复读和幻读

可重复读(REPEATABLE READ):在数据读出来之后加锁,明确数据读取出来就是为了更新用的,所以要加一把锁,防止别人修改它。读取了一条数据,这个事务不结束,别的事务就不可以改这条记录,这样就解决了脏读、不可重复读的问题,但是幻读的问题还是无法解决

串行化(SERIALIZABLE):最高的事务隔离级别,不管多少事务,挨个运行完一个事务的所有子事务之后才可以执行另外一个事务里面的所有子事务,这样就解决了脏读、不可重复读和幻读的问题了

mvcc(多版本并发控制)

多版本并发控制:读取数据时通过一种类似快照的方式将数据保存下来,这样读锁和写锁不冲突了

MVCC只在读已提交(READ COMMINTTED)和可重复度(REPETABLR READ)两个隔离级别下工作

开始事务时创建readview,readview维护当前活动的事务id,即未提交的事务id,排序生成一个数组,访问数据,获取数据中的事务id(获取的是事务id最大的记录),对比readview:如果在readview的左边(比readview都小),可以访问(在左边意味着事务已提交),如果在readview的右边(比readview都大)或者就在readview中,不可以访问,获取rool_pointer,取上一版本重新对比(在右边意味着,该事务在readview生成之后出现,是未开始的事务,在readview中意味着该事务还没提交)

已提交读隔离级别下的事务在每次查询的开始都会生成一个独立的ReadView,而可重复读隔离级别则在第一次读的时候生成一个ReadView,之后的读都复用之前的ReadView

MVCC机制的实现就是通过read-view机制与undo版本链比对机制,使得不同的事务会根据数据版本链对比规则读取 同一条数据在版本链上的不同版本数据。

锁

行锁:

偏向InnoDB存储引擎,开销大,加锁慢;会出现死锁;锁定粒度最小,发生锁冲突的概率最低,并发度也最高

共享锁:读锁。多个事务可以对同一个数据共享同一把锁,是由锁的事务可以访问数据,但只能读不能修改

排他锁:写锁。只有一个事务能够获得排他锁,其他事务都不能获取该行的锁

自增锁:通常是针对MySQL当中的自增字段,如果与事务回滚这种情况,数据会回滚,但是自增序列不会回滚

表锁:

偏向MyISAM存储引擎,开销小,加锁快,无死锁,锁定粒度大,发生锁冲突的概率最高,并发最低

表共享读锁:类似共享锁

表排他写锁:类似排他锁

意向锁:是InnoDB自动添加的一种锁,不需要用户干预

页锁:

开销和加锁时间界于表锁和行锁之间:会出现死锁;锁定粒度界于表锁和行锁之间,并发度一般

全局锁:

加锁之后整个数据库实例都处于只读状态,所有的数据变更操作都会被挂起,一般用于全库备份的时候

记录锁:属于行锁的一种,记录锁的范围只是表中的某一条数据,避免脏读、不可重复读

间隙锁:属于行锁的一种,间隙锁的范围是表记录的某一个区间,而不锁具体的记录,避免幻读

临建锁(Next-key):属于行锁的一种,间隙锁+右记录锁(前开后闭),避免脏读、不可重复读、幻读

意向锁:

一个事务枷锁成功后设置的一个状态,其他事务需要对这个表加锁的时候只需要获取这个状态就知道是否可以加锁,避免了对整个索引树的每个节点扫描是否加锁

意向共享锁:当一个事务试图对整个表加共享锁之前,首先需要获得这个表的意向共享锁

意向排他锁:当一个事务试图对整个表加排他锁之前,首先需要获得这个表的意向排他锁

主从同步原理:

主从同步的过程:

mysql的主从复制中主要由三个线程:Master一条线程和Slave中的两条线程

1,主节点binlog,主从复制的基础是主库记录数据库的所有变更记录到binlog,binlog是数据库服务器启动的那一刻起,保存所有修改数据库结构或内容的一个文件

2,主节点log dump线程,当binlog由变动时,log dump线程读取内容并发送给从节点

3,从节点I/O线程接收binlog内容,并将其写入道relay log文件中

4,从节点的SQL线程读取relay log文件内容对数据更新进行重放,最终保证主从数据库的一致性

注:主节点使用binlog文件+position偏移量来定位主从同步的位置,从节点会保存其已接受到的偏移量,如果从节点发生宕机重启,则自动会从position的位置发起同步


由于mysql,默认的复制方式是异步,主库把日志发送给从库后不关心从库是否已经处理,这样会产生一个问题就是主库挂二,从库处理失败,这时候从库升为主库后,日志就丢失了

全同步复制:主库写入binlog后强制同步日志到从库,所有的从库都执行完成后菜返回给客户端这个方式性能会受到严重影响

半同步复制:从库写入日志成功后返回ACK确认给主库,主库收到至少一个从库的确认就认为写操作完成了

【MySQL】C语言连接MySQL 想必大家在学校也学习过MySQL,可能学的懵懵懂懂,这个板块我们从入门开始,从最新的安装MySQL到学习MySQL语句,一步一步开始,一切都是新的,新的板块新的开始,大家一起努力,一起进步!!!​二初始化 MYSQL 结构体指针 – mysql_init。连接 MySQL – mysql_real_connect:需要指定数据库服务所在主机、端口以及登录mysql的用户和密码等信息。下发 MySQL 指令 – mysql_query。 阅读详情

相关推荐

【MySQL】关于MySQL 8.0后,mysql库中没有proc表

目录 MySQL 8.0以上: MySQL 5.7: MySQL 8.0以上: 打开CMD窗口,查询当前安装的数据库版本: mysql --version 我是用的Navicat进行查看,发现mysql数据库中没有proc表: 当我在执行查询存储过程时会出现找不到proc表: 我先创建一个存储过程: delimiter $ create procedure pro_test() begin select 'Hello World !'; end$ delimiter ..

范同学的学习历程 5761

jvm性能优化

来源:https://www.bilibili.com/video/BV1Ht4y1X7p4?p=2&spm_id_from=pageDrive 栈(线程):每个线程都会拥有一个方法调用栈(线程栈),用来跟踪线程运行中 的一系列方法调用过程,栈中的每一个元素被称为栈帧,每当线程调用一个方法的时候会 向方法栈中压入一个新帧。这里的帧用来存储方法的参数、局部变量、方法的返回地址、 和运算过程中的临时数据。 此可以看出方法调用和线程启动的区别。方法调用只是在原来的线程栈中调用方法的代码,而线程启动会

m0_52946104的博客 240

MySQL 5与MySQL 8版本差异及MySQL 8的新功能

未来,随着技术的不断发展和数据库需求的不断增长,我们期待着MySQL继续改进和优化,为各个领域提供更强大、更稳定的数据库解决方案。此外,MySQL 8还引入了“只读”复制(Read-Only Replication),使得下游节点可以只接收写操作的增量日志,从而减轻了主节点的压力。通过比较MySQL5和MySQL8的区别和新功能,我们可以看到MySQL8在性能、安全性和功能方面有了较大的改进和提升。数据压缩:MySQL 8引入了新的数据压缩方法,可以在不损失性能的情况下,大幅度减少存储空间的需求。

Java老兵的后端进阶与AI前沿探索之路。 2889

【MySQL】MySQL高手是如何练成的?

Mysql 是开源的,可以定制的,采用了 GPL 协议,可以根据业务需要修改源码来开发自己的 Mysql 系统。MySQL 是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,目前属于 Oracle 公司。MySQL 使用标准的 SQL 数据语言形式Mysql 可以允许于多个系统上,并且支持多种语言。这些编程语言包括 C、C++、Python、Java、Perl、PHP、 Eiffel、Ruby 和 Tcl 等。

小冷coding的博客 2万+

MySQL 一一 MySQL基本使用

1、数据库 简单来说,所谓的数据库就是存储数据的容器,而且是永久存储的。 2、为什么需要数据库 3、为什么要学习MySQL数据库 最早MySQL数据,瑞典AB公司开发的一款开源型的关系型数据库。 随着时间的推移,瑞典AB公司把MySQL数据库转让给Sun公司(Java语言的创始公司) 后来,Sun公司经营不善,又把MySQL数据库转让给甲骨文公司(Oracle数据库) 4、数

Guizy 7万+

DSP28335量产升级避坑指南:C2Prog串口烧录.hex文件,为什么我推荐COM1?

本文详细解析了DSP28335量产升级中C2Prog串口烧录.hex文件的最佳实践,重点推荐使用COM1端口以确保稳定性。通过实测数据和底层机制分析,揭示了Windows系统对COM1的特殊优化及C2Prog工具的时钟切换逻辑,帮助开发者规避常见陷阱,提升烧录成功率。

weixin_27066963的博客 385

【MySQL】mysql访问

从开始到选择我们用的都是命令行式的mysql访问mysqld,向mysqld下达我们的指令,其实在数据库层面上,连接数据库的客户端除了现在命令行式的客户端,还有图形化界面、网页版的,当然也包括语言级别的库或者包帮我们去访问数据库。

fight_p的博客 4489

利用Docker Compose简化openGauss多节点容器化部署

本文详细介绍了如何利用Docker Compose简化openGauss多节点容器化部署,从环境准备到配置文件编写,再到集群部署与验证,提供了一套完整的解决方案。通过Docker Compose,原本复杂的手动部署流程被大幅简化,显著提升了部署效率和可靠性,特别适合企业级开源数据库的高可用架构需求。

weixin_30338481的博客 61

【MySQL】带你了解MySQL & 如何学习MySQL以及MySQL的用途以及意义

提起 MySQL 我们大多数与这个行业有相关联系或者说是细微联系的人都知道这个“东西”,为什么有那么多相似的产品我们大多数人都说学习 MySQL 而不是其他的系统。我们在学习时,一定要知其然也要知其所以然,我们不能说是:啊,我要学MySQL! 之后就找到MySQL的讲解课程开始直接的学习语句。这样确实是可以学会去操作MySQL,可是,你是否知道你学习它的意义在于哪里吗?所以呢,我们在开始学习之前一定要去了解一下MySQL,去了解下它的用途,它的功能,这样的话,我们就会对自己学习的知识有一个清晰的对应认知了

感谢您的关注! 8865

计算机网络-自顶向下方法 第三章课后习题答案(第七版)

复习题 R1. a) 就叫这个协议为简单传输协议STP(Simple Transport Protocol)。在发送方,STP从发送进程接收不超过1196字节的数据块、目标主机地址和目标端口号。STP向每个块添加一个4字节的头,并将目标进程的端口号放在头中。STP然后将目标主机地址和结果段提供给网络层。网络层将段交付给目的地主机的STP。目的主机基于STP检查段中的端口号,从段中提取数据,并将数据传递给由端口号标识的进程。 b) 在发送方,STP从发送进程接收不超过1192字节的数据块、目标主机地址和目标端

Erekilu的博客 2万+

Vercel部署个人博客

先去注册一个账号,建议注册一个Github账号后,使用Github账号来登录Vercel。vercel 部署静态资源网站极其方便简单,并且有可观的访问速度,最主要的是免费部署。此时项目已经成功搭建完毕了,点击图片即可跳转到 vercel 所提供的二级域名访问。然后可以直接拉取我的仓库,所有已经配置好了,可以直接使用,建议fork成自己的!然后修改dns就行,注意vercel提供的域名可能访问不了,需要自己绑定!如果有自己的域名,还可以在 vercel 中进行设置。进入Vercel官网。

醉里博客202271.xyz 2370

Ubuntu20.04安装MySQL及配置MySQL workbench

文章目录前言一、MySQL安装与配置1. 安装MySQL2. 配置MySQL二、配置MySQL远程访问三、安装配置MySQL workbench1. 安装MySQL workbench2.使用MySQL workbench连接到数据库总结 前言 最近在学习林子雨老师的大数据时,发现为 Hadoop 安装 Hive 需要使用 MySQL 数据库保存 Hive 的元数据,而不是采用 Hive 自带的 derby 来存储元数据。为了填补大数据专栏的空白,查阅资料完成此篇博客。 系统版本:Ubuntu20.04

程序必须为人类阅读而编写,并且仅仅碰巧可以让机器执行 1万+

西门子PLC新手必看:200SMART与1200/1500的MODBUS RTU通讯实战(附完整配置流程)

本文详细解析了西门子PLC中S7-200 SMART与S7-1200/1500之间实现MODBUS RTU通讯的完整实战流程。内容涵盖硬件接线、软件配置及程序编写,重点讲解了200SMART作为从站、1200/1500作为主站的典型架构,并提供了关键功能块的使用方法和常见问题排查技巧,帮助新手快速打通不同系列PLC间的数据交换。

weixin_29214559的博客 400

【mySQL】C++ 操作mySQL|mySQL++|Mysql connector c++

MySQL其实提供了C实现的接口,而MySQL++则是一个C++实现的封装MySQL C接口的一个Wrapper,遵循了标准C++的规则,是个跨平台的开源工具。我们主要用MySQL++来开发C++程序。 1. 安装和配置 还是万年不变的新手主题——安装和配置 安装MySQL++之前需要先安装MySQL: [root@ollen mysql++]# yum install mysql...

我的笔记本 6856

新凯来嵌入式面经及参考答案

利用编译器预定义宏判断目标架构,如。

大模型大数据攻城狮的专栏 2069

【100%通过率】华为OD机试真题 Java&Go 实现【查找单入口空闲区域】【2022.11 Q4 新题】

给定一个 m xn 的矩阵,由若干字符 和0构成,X表示该处已被占据,0"表示该处空闲,请找到最大的单入口空闲区域.解释:空闲区域是由连通的O组成的区域,位于边界的0可以构成入口,单入口空闲区域即有目只有一个位于边界的0作为入口的由连通的'O"组成的区域。 如果两个元素在水平或垂直方向相邻,则称它们是“连通”的。

MISAYAONE的博客 2万+

【MySQL】 MySQL安装

将mysql相关的内容 以 xargs的形式 给予卸载程序,由于安装包是通过yum进行安装的,使用 yum remove 即可卸载。正常来说,应该为上一个mysql残留的数据,但是由于这里没有使用过mysql,所以就什么都没有。rpm为mysql层面上,在linux的一个安装包,里面包含的是mysql的yum源。当前系统中没有系统安装包了,也没有mysql对应的进程,对应的环境就被卸载干净了。采用yum的方式,获取到MySQL的安装包 ,一般都是.rpm。配置server端的编码格式 采用 utf8。

qq_62939852的博客 2417

YOLO26改进策略【卷积层】| CVPR 2025 频率动态卷积 FDConv 频域分权重提多样性 + 双调制降冗余,增强特征表征能力

本文记录的是利用FDConv 算子改进 YOLOv11 的卷积层特征提取层。(Frequency Dynamic Convolution)通过傅里叶域权重划分与空间-频率双调制机制结合,实现YOLOv11特征提取中频率多样化的动态卷积与空间自适应的频带调制。本文利用算子,通过傅里叶不相交权重生成频率差异化的并行卷积核以丰富特征表达,再通过核空间调制和频带调制结合局部-全局信息、适配图像空间异构性,同时依托固定参数预算实现轻量化设计,对YOLOv11中目标的低频语义特征与高频细节/边界特征进行针对性增强、抑制

Limiiiing的博客 476

MySQL —— MySQL 程序

本篇文章将会介绍 MySQL 中常见程序 mysqld 与 mysql 的基本概念,以及详细介绍 mysql 客户端程序的使用,这里我们会介绍 mysql 客户端命令的常用选项,使用 mysql 客户端从 .sql 文件中执行 SQL 语句,下面开始本篇文章的内容介绍。

HKJ_numb1的博客 2561

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

MySQL——MySQL的使用

MySQL——MySQL的使用

致力于分享在各类技术领域的学习与实践经验,涵盖编程、虚拟化、开源工具、网络安全等。 2881

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

MySQL-MySQL访问

通过之前的章节,我们已经学会了MySQL的大部分基本操作和概念,今天我们将要学习通过C语言接口来访问MySQL。需要注意的是,今天我们要使用的接口都来自于第三方库,这个库是由MySQL提供的,我们需要用到 mysql.h 和 mysqlclient.so ,头文件一般在,动态库文件有的在/usr/lib/或者中,不过我的就在目录下,所以如果你找不到的话,可以直接使用来直接查找。当然前提是你的主机安装了mysql,一般会自动给你添加这些库文件。

fengjunziya的博客 2229

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Mac 上如何安装Mysql? 如何配置 Mysql?以及如何开启并使用MySQL

有许多开发的小伙伴,使用的是mac,那么在mac上如何安装,配置Mysql,以及使用Mysql了,今天来一个系统的教程。

m0_74825223的博客 4171

MySQL Installer(MySQL on Windows (Installer & Tools))与MySQL Community Server的区别;MySQL Shell是什么;MySQL

MySQL官网:https://www.mysql.com/ 1: MySQL on Windows (Installer & Tools) 这是一个傻瓜化的安装包,包括了数据库和工具。是mysql软件的安装管理器,可以通过installer来选择安装mysql数据库和相关辅助软件。 它是官方提供的Installer方式安装MYSQL服务以及其他组件,使的Windows下安装,卸载,配置MYSQL变得特别简单。就是说MySQL Installer可以直接和其他电脑软件一样安装,而且里面包含My

weixin_45045730的博客 5301

【MySQL】语言连接使用MySQL

语言上的进行MySQL的使用

2303_80828380的博客 1895

MySQL 和 MySQL2 的区别

在node.js中MySQL是最流行的开源关系型数据库管理系统,拥有大量的使用者和广泛的应用场景。而MySQL2是MySQL官方团队推出的新一代MySQL驱动,用于取代老版的MySQL模块,提供更好的性能和更丰富的功能。本文将介绍MySQL2相较于MySQL有哪些优势以及具体的技术区别。随着Node.js的流行,基于Node.js连接MySQL数据库变得十分普遍。Node.js社区最初广泛使用的MySQL模块是基于libmysqlclient开发的,这是一个阻塞式的数据库驱动,性能和可靠性都存在一定问题。

m0_57005111的博客 2352
上一篇: Java数据结构
下一篇: Java排序算法
jisf4296
博客等级 码龄8年 143粉丝 26原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值