论文阅读:efficient and available in-memory KV-store with hybrid erasurecod and repli

本文介绍了一种结合纠错码技术和PBR模式的内存KVStore设计,旨在应对高并发请求,同时节省内存资源并维持高性能。通过区分处理元数据和数据部分,实现更高效的数据更新和冗余管理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

内存kv存储加上纠错码和备份的混合设计。
问题:
说是纠错码用在元数据更新上,很频繁,但PBR模式难道不用频繁更新么?

摘要

kvstore用在很多网站和数据库系统中,连续应对每秒million级别的请求。保持可用性的措施往往采用primary-backup主从备份。但这样就要将稀缺的内存用在与响应用户请求无关的地方。本文结合纠错码技术和PBR节省内存开销而不降低性能。
主要挑战是:内存kvstore有很多离散的元数据,一个put操作除了对数据写入外,往往造成很多细小的元数据更新以及校验位更新。提出了cocytus。对小而离散的数据采用PBR,而对相对大的数据采用纠错码。
PBR vs 纠错码

detail

PBR采用M+1来应对主节点的宕机,M中选取主节点采用paxos协议。但造成了M倍的数据冗余。
但PBR不是应付宕机问题么?而纠错码是数据传输错误?这两者为什么能相互替代。
分布纠错码
K个D data节点,M个P 校验节点。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值