杰特JET的博客

深入理解LSM-Tree基础概念compaction策略Size-tired compaction strategy(STCS)/Tieredleveled compactionLeveled-NHybridTime-Window比较工业实现leveldbRocksDBWrite StallsscyllaDB/cassandrahbaseTiKV/Titan学术研究Dostoevsky参考链接lsm-tree的背景、定义和适用场景本文不再详述。本文意在论述LSM的存储引擎、工业取舍以及发展现状。基础概

分布式块存储QoS限速算法以及对上层应用的影响QoS限速算法介绍令牌桶 Token Bucket漏桶 Leaky BucketLeaky bucket as a meterLeaky bucket as a queue主流的块设备流控方案Qemulibrbdspdk限速策略对块设备的影响时延IO util对数据库应用的影响参考链接QoS限速算法介绍限速策略主要有令牌桶的漏桶两种，下面分别介绍如下。令牌桶 Token BucketWiki对令牌桶的算法描述如下：A token is added

spdk-nvmf指南概述名词解释nvme over fabricspdk nvmfnvmf initiator 和 targetspdk nvmf targetlinux kernel NVMeOF initiator实践注意事项参考链接概述NVMe协议制定了本机高速访问PCIe SSD的规范，为了把本地高速访问的优势暴露给远端应用， 诞生了NVMe-oF 协议。NVMe-oF target 是NVMe协议在不同传输网络 (transport) 上面的延伸。NVMe-oF 协议中的 transpor

Amazon Aurora 论文解读复制与一致性计算与存储分离架构存储引擎基本操作WritesCommitsReadsReplicas总结Aurora是一个OLTP的分布式数据库。Amazon认为随着分布式系统的发展以及架构的演进，传统数据库的磁盘IO瓶颈已经变成了计算存储分离架构下网络IO（以及事务先关的IO处理的过程）。的Aurora通过计算节点和存储节点分离，计算节点scale up，存储节点scale out的理念将公有云的关系数据库产品推向了一个新的高度。传统关系数据库三宗罪，扩展性、可

Google Spanner 论文笔记架构复制与一致性TrueTime事务数据迁移Google Spanner是谷歌的全球级分布式数据库（Golbally-Distributed Database）。Spanner的扩展性达到了全球级，可以扩展到数百个数据中心，数百万台机器，上万亿行数据，除了夸张的可扩展性之外，他还能通过同步复制和多版本控制MVCC来满足外部一致性。支持垮数据中心的事务。是一个大规模分布式技术和传统关系型数据库技术的完美融合。架构Spanner的模型和MegaStore系统较为相似

Microsoft SQL Azure本笔记出自论文《Extreme Scale with Full SQL Language Support in Microsoft SQL Azure》和一些网络资料。论文在开头就提到了，很多互联网行业做出的存储产品如Google Bigtable、Yahoo PNUTS、Amazon Dynamo等，其提供的ACID事务、一致性保证是和传统的关系型数据库有很大区别的。互联网行业通过其上层业务的抽象，将一致性及事务限制在特定的consistency domain中，从

谷歌GFS论文笔记前言masterchunkserver一致性模型data integrity下线mmap读写锁FAQ参考链接前言本篇文章主要讲解谷歌经典论文The Google File System，它构建在廉价的普通pc服务器上，并且可以自动容灾容错。其对于整个存储界具有里程碑的意义。masterGFS 为了简化设计，在整个系统中只有一个 master 进行管理。Master 不提供读写操作，它只会告诉 client，它所请求操作的文件在哪个 chunkserver 上，然后 clien

云存储快照技术方案COW（Copy-On_Write）：写时拷贝ROW（Redirect-On-Write）：写时重定向参考链接方案快照算法通常有写时拷贝COW和写时映射ROW两种，对于不同的应用需求，这两种算法有各自的优缺点。从结构上分，快照有草型快照和链式快照之分，不同的结构有不同的效率和性能。COW（Copy-On_Write）：写时拷贝创建快照后，原始数据盘上有数据更新，则将对应位置数据从原始盘拷贝到额外存储空间（快照盘）-> 元数据记录数据更新位置 -> 将数据写入原始数据盘。