Zuoerfeng

现在开始对闪存数据库进行一个简单的学习，目的是了解如何结合SSD特性和数据库的结合优化。设计一个面向闪存的数据库只要有以下这三个方面：主要是分为3点：1、设计专门针对数据库的FTL算法，数据库相比传统的文件系统的负载更为随机化，如何优化是一个考验。2、更改数据库的存储引擎部分， 尽可能满足闪存的物理写入特性3、直接自该数据库的存储管理模块，直接去操作闪存。从这个图上看，数据库分为三...

存储管理器则用来对底层的存储设备进行访问的IO操作，存储管理器可以直接访问设备，也可以通过文件系统来执行IO操作。那么分析现在的存储管理器针对硬盘都做了些优化，对于SSD，对于之前的优化方法是否需要继续用，或者有其他优化的部分，这也是我们需要思考的。目录：1、传统的数据库存储管理器主要用两种IO写入的特征，一种是基于页的写入，一种是基于日志的写入方式。基于页的写入方式：一个逻辑页对应一个...

数据库缓冲区管理主要是说明数据库的缓冲区使用什么样的算法，缓冲区的替换算法关乎着数据库很重要的性能，数据库对外提供高性能，需要考虑动态的决定把哪些数据放入缓冲区，哪些数据驱逐出缓冲区。传统的数据库的缓冲区考虑的都是读写一致的策略，但是现在的闪存读写的代价是不一致的，那么需要做的就是面对闪存，缓冲区的替换算法应该如何考虑呢？1、缓冲区的替换算法一般存在两种代价，如何设计替换算法需要考虑着两种代价...

闪存数据库的索引是数据库特有的一种加快查找的方法，这种方法可以 有效的提高数据库查询的性能，基本上每一种数据库都会有索引的功能，那么索引的带来的额外的元数据开销也是非常大的。目前的索引组织的数据结构都是按照磁盘的特性，用来设计对应的数据结构，当底层的存储介质换成闪存之后，传统的索引的数据结构可能就不太实用了，因此需要去设计面对闪存的数据库的索引。1、闪存的存储特性，在传统数据库的索引上会有哪...

在关系型数据库中，会涉及到大量的查询操作，查询操作往往还涉及不同表之间的连接操作，而连接操作需要大量的IO开销，传统的数据库的查询优化都在顺序IO上优化，到闪存上，闪存的随机读和顺序读性能都很出色，那么面对随机读性能好的优势，在查询和连接索引上，数据库需要进行哪些优化，本章就对这个点进行优化。1、数据库还有一个很重要的是页面布局的概念指的是数据库的表中有不同的元组，这些元组的数据是一行一行显示...

事务处理事数据库最独特的地方，事务操作可以保证数据库处理操作的原子性、一致性、隔离性和持久性，推动了数据库在商业领域的成功应用。事务恢复时数据库支持事务的重要功能，可以保证数据的一致性和正确性，数据库在实际的运行过程中，会不可避免的发生各种故障，那么必须建立有效的事务恢复的措施。在闪存的数据库中，事务恢复有着天然的优势，因为闪存是异地更新，旧不是直接被覆盖，那么旧数据可以当初数据恢复的一个检查点...

目前来说，闪存的价格仍然是高于磁盘，在很大一段时间内，都会出现磁盘和闪存共存的情形，在混合存储系统中，闪存在其中扮演的角色主要有三样：闪存代替磁盘作为某些特别数据的存储介质，例如事务的提交日志或者是数据库计算的中间数据存储，第二种是和内存的功能类似，作为磁盘的一个二级缓存，第三种是和磁盘的功能类型，和磁盘并列作为普通数据的存储介质。1、闪存代替磁盘作为某种数据的存储介质闪存作为事务日志持久化的...

数据库存放数据的文件，本文称其为data file。数据库的内容在内存里是有缓存的，这里命名为db buffer。某次操作，我们取了数据库某表格中的数据，这个数据会在内存中缓存一些时间。对这个数据的修改在开始时候也只是修改在内存中的内容。当db buffer已满或者遇到其他的情况，这些数据会写入data file。undo，redo日志在内存里也是有缓存的，这里将其叫做log buffer。...

2018.5.28今天查看了关于flashdb中关于缓存算法的数据结构，发现了3dsim的数据结构是不一样的，然后又去看了一遍3Dsim的数据结构，发现flashdb的数据结构实际是可以优化的。下面对这个点简单的分析下。首先来看下flashdb的数据结构ftop是模拟内存的顺序存储ptop是哈希表LRU链表是缓存替换算法其中引入的frame_id可以看做是数据在内存中的地址。首先数...