开源 | 携程 Redis On Rocks 实践，节省 2/3 Redis成本

作者简介

patpatbear，携程软件技术专家，负责携程缓存内核的维护，热爱开源，专注于高性能、分布式NoSQL系统的建设和应用。

一、背景

redis使用内存作为存储介质，具有良好的性能和低延迟，但其内存容量通常成为瓶颈，且内存价格较高，导致redis使用成本较高。

随着SSD磁盘性能的不断提高，NVMe SSD的随机读写延迟也仅有几十微秒，与redis的固有延迟（100~200us）相当，用SSD作为存储介质也可以达到较低的延迟，同时节省成本。

因此我们研发了ROR(Redis-On-Rocks)产品，通过对redis内核增强以支持数据冷热交换，使用磁盘扩展缓存容量，可节省约2/3成本，而性能也能满足大多数业务需求。

二、ROR简介

ROR核心思路很简单：在redis codebase基础上扩展冷热交换功能，实现redis数据冷热多级存储，降低缓存的综合使用成本。

ROR将数据分为冷热两部分：

• 热数据沿用redis引擎，使用内存存储，数据结构和原生redis完全一致
  

• 冷数据选用RocksDB引擎，使用磁盘存储，以subkey为粒度存储在RocksDB中

ROR负责冷热数据的交换：

• 换入（从RocksDB到redis）：当客户端访问冷数据，则将RocksDB中的数据换入到redis中，ROR把命令依赖的数据换入到redis，后续命令执行与原生redis一致。

• 换出（从redis到RocksDB）：当内存用量超过maxmemory之后，则将热数据换出到RocksDB中，ROR冷热交换算法采用了redis原生的LFU算法，原本被redis evict的数据将被交换到内存中。

由于ROR继承了redis的数据结构和命令实现，只负责冷热数据交换，因此可以兼容几乎所有的redis命令，可快速跟进redis官方新特性。

三、与RoF对比

从长远发展考虑，redis是事实上的缓存标准，缓存内核基于社区开源redis更便于跟进社区redis演进，因此ROR选择了基于redis基础上扩展冷热交换能力。

RedisLabs的商业产品Redis-on-Flash(RoF)与ROR设计思路类似，但是调研之后，我们发现RoF在成本、通用性、性能等方面并不能满足我们的需求。

3.1 成本

RoF把value保存在磁盘、key保留在内存主表，可以方便地兼容dbsize、scan、randomkey等命令，但占用的内存量会随着dbsize线性上升。

冷数据key保存在内存主表（hashtable），每个key的辅助指针、robj等平均占用约50B，生产String类型平均value大小为512B。从成本的角度看，按照key占内存10%，value占90%计算

• 换出80%value，可减少72% (80%*90%) 内存

• 换出80%冷key，可继续减少29% (10%*80%/(100%-72%))内存

因此ROR并不把冷数据的key保存在内存，而是保存到RocksDB中单独的meta column family。

考虑到meta  column family访问比较频繁，且只存储type、expire之类的少量元数据，因此用少量内存(block cache)可以缓存多数冷key。

经验证，分配256MB block cache后，把冷数据的key存储到RocksDB并不会降低整体QPS，但会增加IO线程的CPU消耗，由于redis宿主机cpu利用率只有10%，用cpu换内存是可以接受的。

3.2 通用性

为了避免重复缓存，RoF禁用了RocksDB层的table cache和文件系统层的page cache。这意味着访问冷key时必须进行IO操作，因此冷key和热key的访问延迟会有较大区别。

为了提高通用性，ROR合理利用RocksDB层的table cache和操作系统层的page cache，尽可能利用未被占用的内存，减少访问冷key和热key之间的延迟差距。

实际上，无论是DBA还是业务方，都很难准确预测缓存集群是否存在明显的冷热特征。ROR适用于通用场景，能够大大减少沟通成本和业务方关于延迟的担忧。

在redis迁移至ROR时，我们并不评估应用程序是否具有冷热特征，只要业务QPS在redis的一半以下，对P99延迟不是非常敏感，就可以将其迁移到ROR。

3.3 性能

RoF按key粒度存储，key与RocksDB key一一对应；而ROR按subkey粒度存储，subkey都与RocksDB key一一对应。

对于HSET、HGET等聚合类型命令，RoF需要换入换出整个key，而ROR只读写必要的subkey，因此读写放大远低于RoF，QPS和延迟也优于RoF。

以下为ROR、RoF在大压力（100线程不限QPS）和普通压力（1000线程10000QPS），读写纯冷数据的QPS和延迟。可以看出：

• 大压力情况下，ROR HGET、HSET命令QPS约为RoF的2~3倍