天行健，地势坤

住院期间的一些学习思考... 探索PostgreSQL 以及 RocksDB 的 2PC实现

append-only 存储引擎： leveldb/rocksdb/wiredtiger 写链路优化

rocksdb 基本隔离级别实现 以及 并发场景的冲突解决方案。

文件系统预分配：提升写入性能的同时降低 因为磁盘空间不足而写入异常的风险，适用于 WAL/UNDO 这样的场景

rocksdb 的concurrent arena 以及 其和底层的tcmalloc/jemalloc的差异

有了Env 这个抽象类，为什么多出来一个 EnvWrapper 这个原封不动重写Env 方法 的Env 子类?

围绕：ZNS: Avoiding the Block Interface Tax for Flash-based SSDs 论文展开ZNS ssd内部的实现原理

1. FileIndexer.2. PinableSlice & Cleanable3. 工业级 LRU Cache & Clock Cache4. ThreadLocalPtr & Version 系统5. JoinBatchGroup6. CoreLocalArray & Statistics

从 io_uring on fio / rocksdb的一些测试记录 来体会io_uring的性能优势，从 io_uring 非poll 模式 以及 poll 模式的实现来看其性能优势以及发展前景。

xor-filter 基本原理 以及 更高效的ribbon-filter 高斯消元的大体过程

Rocksdb MergeOperator 简单使用记录

rocksdb 2021 meetup 中 remote compaction 在 rocksdb-cloud中的应用

Titan, rocksdb的BlobDB, BadgerDB 在k/v 分离下如何降低GC 引入 的回填index 对性能的影响。

记录在Mac 上通过Makefile 编译Rocksdb 源码过程中应注意的一些事项

Rocksdb 单机 五千万 qps 工业级 LRU-Cache的实现设计

原来 LSM-tree 存储引擎 可以很强

前言最近在读 MyRocks 存储引擎2020年的论文，因为这个存储引擎是在Rocksdb之上进行封装的，并且作为Facebook 内部MySQL的底层引擎，用来解决Innodb的空间利用率低下 和 压缩效率低下的问题。而且MyRocks 在接入他们UDB 之后成功达成了他们的目标：将以万为单位的服务器集群server个数缩减了一半。MyRocks 在facebook内部的成功实践证明了LSM-tree的存储引擎经过一系列优化之后能够达到和B±tree存储引擎性能接近且节约大量存储成本的目的。对于我们底

一个 支持持久化的httpserver 实现

rocksdb社区推出的key-value分离存储组件，无需额外接口，一个参数开启关闭key/value分离。

rocksdb advise_random_on_open 通过 posix_fadvise 关闭操作系统page_cache_sync_read 预读逻辑

ingest file方式导入数据，减少系统cpu/io/memory 资源开销

真是精心雕琢的引擎啊

减少操作系统文件inode/dentry 相关cache的更新

C++多态 + 工厂模式的灵活应用，极简的抽象来增强引擎的可扩展性

坑

又一个简单问题。从获取有效key来看rocksdb的写入逻辑

一个简单的问题

Rocksdb 日志分析工具 ： 分析LOG日志中出现的性能和稳定性问题，并给出优化建议。手把手教你发布自己的python package，为全球开发者使用。

Rocksdb compaction/flush 线程池实现分享，且个人已实现该线程池基本功能，欢迎试用。

从rate limter 到 auto tune 以及 auto tuned compaction的优化实战，主要为了解决write-stall导致的读长尾以及写吞吐降低问题。

Rocksdb 请求耗时统计，请求计数统计 的优雅实现

本文能够回答如下问题：- 分支预测 __builtin_expect 或者 LIKELY/UNLIKELY 原理是什么？- cpu pipeline架构是如何演进的？- CPU分支预测是如何体现在 pipeline 执行指令 的过程中的？- 对CPU友好的分支预测 能够有多少的性能提升？

通过level_compaction_dynamic_level_bytes=true 配置 来对rocksdb compaction 逻辑的优化。现象就是L0的sst文件经过compaction直接写入到了Ln层。

rocksdb 迭代器如何完成构造并参与scan 过程，其基本架构介绍，DBIter, InternalIter, MergingIterator, MemtableIter, 以及LevelIterator和TwoLevelIterator 实现机制。

我们知道一个完整的监控系统必须存在p99/p999等分位数指标，作为系统可用性的评判标准之一。而像开源监控系统中做的很不错的`grafana`和`prometheus `一定需要工业级的分位数算法。所谓**分位数**(quantile)，比如p99，表示percent of 99，即99% 的数据小于当前p99的指标。使用分位数来统计系统的长尾延时，也是系统可用性的一种衡量指标。

通过本文，能够清楚 rocksdb的读写性能调优，compaction的核心调优，以及一些通用的优化配置。

LSM/Rocksdb 引擎在批量 delete之后 会引入读放大，空间放大，写放大等问题，针对该问题的业界方案做一个代码层级的验证。从rocksdb 到 SIGMOD'20 的 Lethe，欢迎大家讨论。

学无止境，不过还好有高手指路，能够发现如此精彩的存储世界，叹之有幸！！！LSM 的作为新生代存储引擎的基础架构，优异的写吞吐，天然支持的冷热分离架构下提供足量的读的优化。有得必有失，Compaction的 数据回收和 merge sort带来的I/O 调度 挑战让后来者想要不断去征服这座性能高峰，为引擎界引入足以和B树相媲美的经典架构。

有效的性能问题 既能节约自己与他人的沟通时间，又能展示自己对系统理解的深度和广度。品牌的建立是一辈子的事情，也是十分钟的事情。

LSM 引擎针 的业界相关优化方案已经有很多了，优化的方向也是在不同workload纬度上进行取舍。比如头条的Amap ，中科的dCompaction 是为了降低Compaction的写放大（写放大除了消耗ss）