KeyDB:多线程redis就绪!!

redis修改协议改了,有哪些替代品? 特点:Valkey 是 Linux 基金会宣布支持的 Redis 7.2.4 的直接分支,得到了 AWS、谷歌云、甲骨文等大公司的支持。与 Redis 相比,Garnet 具有更高的吞吐量、更少的成本和更低的延迟,支持多种数据结构以及集群模式、事务性存储过程、故障转移等功能。Redict 旨在提供一个与 Redis 兼容的内存数据存储,同时保持对开源社区的友好。- 特点:KeyDB 是由 Snapchat 开源的支持多线程的 Redis,具有高性能、更高的吞吐量、完全兼容 Redis 协议等特点。 阅读详情

今天给大家介绍的是KeyDB,KeyDB项目是从redis fork出来的分支。众所周知redis是一个单线程的kv内存存储系统,而KeyDB在100%兼容redis API的情况下将redis改造成多线程。

项目地址是 https://github.com/EQ-Alpha/KeyDB

线程模型

KeyDB将redis原来的主线程拆分成了主线程和worker线程。每个worker线程都是io线程,负责监听端口,accept请求,读取数据和解析协议。如图所示:

图片

KeyDB使用了SO_REUSEPORT特性,多个线程可以绑定监听同个端口。

每个worker线程做了cpu绑核,读取数据也使用了SO_INCOMING_CPU特性,指定cpu接收数据。

解析协议之后每个线程都会去操作内存中的数据,由一把全局锁来控制多线程访问内存数据。

主线程其实也是一个worker线程,包括了worker线程的工作内容,同时也包括只有主线程才可以完成的工作内容。在worker线程数组中下标为0的就是主线程。

主线程的主要工作在实现serverCron,包括:

  • 处理统计

  • 客户端链接管理

  • db数据的resize和reshard

  • 处理aof

  • replication主备同步

  • cluster模式下的任务

链接管理

在redis中所有链接管理都是在一个线程中完成的。在KeyDB的设计中,每个worker线程负责一组链接,所有的链接插入到本线程的链接列表中维护。链接的产生、工作、销毁必须在同个线程中。每个链接新增一个字段

int iel; /* the event loop index we're registered with */

用来表示链接属于哪个线程接管。

KeyDB维护了三个关键的数据结构做链接管理:

  • clients_pending_write:线程专属的链表,维护同步给客户链接发送数据的队列

  • clients_pending_asyncwrite:线程专属的链表,维护异步给客户链接发送数据的队列

  • clients_to_close:全局链表,维护需要异步关闭的客户链接

分成同步和异步两个队列,是因为redis有些联动api,比如pub/sub,pub之后需要给sub的客户端发送消息,pub执行的线程和sub的客户端所在线程不是同一个线程,为了处理这种情况,KeyDB将需要给非本线程的客户端发送数据维护在异步队列中。

同步发送的逻辑比较简单,都是在本线程中完成,以下图来说明如何同步给客户端发送数据:

图片

如上文所提到的,一个链接的创建、接收数据、发送数据、释放链接都必须在同个线程执行。异步发送涉及到两个线程之间的交互。KeyDB通过管道在两个线程中传递消息:

int fdCmdWrite; //写管道
int fdCmdRead; //读管道

本地线程需要异步发送数据时,先检查client是否属于本地线程,非本地线程获取到client专属的线程ID,之后给专属的线程管到发送AE_ASYNC_OP::CreateFileEvent的操作,要求添加写socket事件。专属线程在处理管道消息时将对应的请求添加到写事件中,如图所示:

图片

redis有些关闭客户端的请求并非完全是在链接所在的线程执行关闭,所以在这里维护了一个全局的异步关闭链表。

图片

锁机制

KeyDB实现了一套类似spinlock的锁机制,称之为fastlock。

fastlock的主要数据结构有:

struct ticket
{
 uint16_t m_active; //解锁+1
 uint16_t m_avail; //加锁+1
};
struct fastlock
{
 volatile struct ticket m_ticket;
 volatile int m_pidOwner; //当前解锁的线程id
 volatile int m_depth; //当前线程重复加锁的次数
};

使用原子操作__atomic_load_2,__atomic_fetch_add,__atomic_compare_exchange来通过比较m_active=m_avail判断是否可以获取锁。

fastlock提供了两种获取锁的方式:

  • try_lock:一次获取失败,直接返回

  • lock:忙等,每1024 * 1024次忙等后使用sched_yield 主动交出cpu,挪到cpu的任务末尾等待执行。

在KeyDB中将try_lock和事件结合起来,来避免忙等的情况发生。每个客户端有一个专属的lock,在读取客户端数据之前会先尝试加锁,如果失败,则退出,因为数据还未读取,所以在下个epoll_wait处理事件循环中可以再次处理。

图片

Active-Replica

KeyDB实现了多活的机制,每个replica可设置成可写非只读,replica之间互相同步数据。主要特性有:

  • 每个replica有个uuid标志,用来去除环形复制

  • 新增加rreplay API,将增量命令打包成rreplay命令,带上本地的uuid

  • key,value加上时间戳版本号,作为冲突校验,如果本地有相同的key且时间戳版本号大于同步过来的数据,新写入失败。采用当前时间戳向左移20位,再加上后44位自增的方式来获取key的时间戳版本号。

【数据库】KeyDB:一款比 Redis 性能强 5 倍的数据库! KeyDB 是Redis的高性能分支,侧重于多线程、内存效率和高吞吐量。除了性能改进外,KeyDB还提供主动复制、闪存和子密钥过期等功能。KeyDB具有MVCC架构,允许您在不阻塞数据库和降低性能的情况下执行密钥和扫描等查询。KeyDB与Redis协议、模块和脚本保持完全兼容。这包括对脚本和事务的原子性保证。因为KeyDB与Redis开发保持同步,所以KeyDB是Redis功能的超集,使KeyDB成为现有Redis部署的替代产品。在相同的硬件上,KeyDB可以实现比Redis高得多的吞吐量。 阅读详情

相关推荐

keydb:用 Go 编写的高性能键值数据库

密钥数据库 用 Go 编写的高性能键值数据库 批量插入和顺序读取<1微秒 基于磁盘的记录的随机访问读取 < 4 微秒 使用 LSM 树,请参阅 最大 1024 字节键的限制,以允许高效的磁盘索引搜索,但具有压缩键,允许在同一表中非常有效地存储时间序列数据(市场报价数据) 使用 dbdump 和 dbload 实用程序将数据库保存/恢复到单个文件,但仅压缩目录也可以... 请参阅相关的 ,它允许远程访问 keydb 实例,并允许多个进程共享一个 keydb 数据库 待办事项 使一些设置可配置 清除删除的键/值,它当前存储一个空的 [] 字节 如何使用 db, err := keydb.Open("test/mydb", true) if err != nil { t.Fatal("unable to create database", err) } tx, err := db.Be

KeyDB: 一款比 Redis 性能更强的分布式数据库

公众号关注「奇妙的 Linux 世界」设为「星标」,每天带你玩转 Linux !今天要给大家推荐一个 GitHub 开源项目 Snapchat/KeyDB,该项目在 GitHub 有超过 6.5k Star。KeyDB 是一个开源的,高性能的,多线程的内存键值存储。它是流行的 Redis 数据库的分支版本,完全兼容 Redis 命令和数据类型。KeyDB 提供了很多的高级功能,如 Lua 脚本,...

easylife206的专栏 1914

Revit Dynamo实战:用Excel数据批量生成桥梁模型(附自适应族技巧)

本文详细介绍了如何利用Revit Dynamo结合Excel数据实现桥梁参数化建模,重点讲解了数据驱动建模、自适应族优化及大型项目性能管理三大核心技巧。通过结构化Excel数据、高级自适应族创建和分块处理策略,显著提升桥梁建模效率与设计变更响应能力。

weixin_42520025的博客 389

keydb 安装,性能测试(保姆级文档)

keydb安装及使用memtier基准测试

行者1024 2929

Argoverse2数据集保姆级导入教程:从下载到预处理全流程解析

本文详细解析了Argoverse2数据集的完整导入流程,从环境配置、数据下载到预处理和高效加载策略。作为自动驾驶领域的标杆数据集,Argoverse2提供多模态传感器数据和高精地图信息,帮助研究者快速搭建数据处理流水线。文章包含实用代码示例和性能优化技巧,特别适合自动驾驶算法开发者参考。

weixin_29035405的博客 340

安卓ai自动化脚本 Yyds.Auto实现 示例 纯ai图像识别自动点击脚本

纯ai识别实现自动化脚本

专注安卓前沿科技 4786

KeyDB深度解析:多线程架构与MVCC技术如何重塑Redis性能极限

KeyDB作为Redis的高性能多线程分支,通过创新的架构设计和核心技术优化,为现代高并发场景提供了革命性的解决方案。本文将从技术架构、性能优化、生产部署三个维度深入剖析KeyDB的核心机制,为开发者提供全面的技术选型参考。 ## 挑战:单线程Redis的性能瓶颈与扩展困境 在微服务架构和云原生时代,Redis的单线程模型面临着严峻的挑战。随着业务规模扩大,单实例QPS达到10万+后,CPU单

gitblog_00433的博客 514

Maya ACES工作流程配置(Arnold 及 RedShift 贴图配置规范-还原出SP-Aces流程下贴图正确的效果) PS还原Aces流程下渲染的图

*如果使用SP,项目工程如果新建的时候设置的就是Aces的流程的话,按规范正常导出即可,贴图会带上相对应的后缀,然后贴图导入材质球的时候会根据后缀自动设置相对应的色彩空间;**万一不是,就自己手动设置一下对应的色彩空间即可;然后点击选择当前的或者选择全部导入的贴图,点击右下角后,开始转换;我复制了一下,一个默认没有LUT的效果,然后另外一个是加载2个LUT后的还原效果,和渲染的效果应该是没有区别的,至少我没有看出明显的区别;把需要转换的贴图拖拽到左侧,然后右面选择需要转换到的相对应的色彩空间;...

Yuulily 7998

3步打造高性能多线程内存数据库:KeyDB实战指南

面对Redis单线程瓶颈的困扰?KeyDB作为Redis的多线程高性能分支,为你带来5倍吞吐量提升和更低延迟的开源替代方案。本文将带你从零开始,通过实战部署和配置优化,快速掌握这个内存数据库的性能利器。 ## 场景切入:当Redis单线程遇到性能天花板 想象一下这个场景:你的电商应用在促销期间面临每秒数万次的并发请求,Redis的单线程架构开始显现瓶颈,CPU利用率居高不下,响应延迟逐渐增加。

gitblog_00187的博客 389

服务器测试之网卡性能调优

nvidia下载mlnx_ofed:https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/intel下载驱动固件:https://www.intel.com/content/www/us/en/download-center/home.html。然而,你可以根据实际情况手动调整中断相关配置。老生常谈了,一些性能相关的设置项打开,节能的关闭,虚拟化相关的VMX/SR-IOV/IOMMU最好也都关掉。

qq_41897488的博客 4912

Revit二次开发——不启动Revit,做rvt文件数据导出

Revit二次开发——不启动Revit,做rvt文件数据导出Node.js部分调用C#端供外部调用的dllC#部分调用RevitNet.dll,做数据导出exe做外部调用dll总结功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 N

Y.Jerome的专栏 4113

KeyDB 多线程缓存数据库 10 分钟快速上手:编译启动 + 3 个必改参数

KeyDB 是一个多线程 Redis 分支,专为高吞吐缓存场景设计。它在保持 Redis 协议完全兼容的前提下,通过多核并发执行、主动复制(Active Replication)和 FLASH 存储等能力,让同一台硬件跑出比 Redis 更高的 QPS。适合已有 Redis 使用经验、想直接替换或扩容吞吐量的团队。 典型使用场景: - 替换现有 Redis 部署,客户端代码零改动,直接切换连接

gitblog_00263的博客 131

面试题:redis 是单线程还是双线程

"redis是单线程的" 这句话我们耳熟能详。但它有一定的前提,redis整个服务不可能只用到一个线程完成所有工作,它还有持久化、key过期删除、集群管理等其它模块,redis会通过fork子进程或开启额外的线程去处理。所谓的单线程是指从。

lifan123acd的博客 1918

高速特征金字塔多角度旋转模板匹配(工业零部件缺陷检测C++ Opencv版)

博主在性能较好的笔记本上测试算法全部执行效果大约为45ms,在一般配置的笔记本上博主在性能较好的笔记本上测试算法全部执行效果大约为130ms。下图即为实际检测效果。本文最后附有完整代码:Qt版和MFC版本(可直接运行)。...

认真努力,做一只会飞的毛毛虫。 5547

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Redis深度解析:从发展史到现代应用全景指南

Redis发展与应用全景指南 Redis从2009年诞生至今,已从单一缓存发展为多模数据平台。发展历程分为三个阶段:早期专注内存存储和数据结构多样化(2009-2012);中期完善高可用和分布式能力(2013-2017);近期转型为AI原生多模平台(2018至今),新增向量搜索等能力。当前生态包括官方维护的Redis Stack、云服务商托管版本及多个开源分支。Redis支持丰富的数据服务接口,涵盖基础数据结构、高级JSON/搜索/时序模块、消息队列及AI向量服务。典型应用场景包括热点缓存、实时排行榜、异步

649

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Fluvio SPU 性能剖析实战:用 perf 与 FlameGraph 生成火焰图全指南

> 本文以 [tests/PERF.md](https://link.gitcode.com/i/3dd90cc31216e72c6a1ab66a4c2fb439) 为骨架,完整讲解在 Ubuntu 环境下对 Fluvio SPU(Stream Processing Unit,流处理单元)进行 CPU 性能剖析的整套流程:从克隆 FlameGraph、安装 perf 工具,到构建带调试符号的 Fl

gitblog_00005的博客 207

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Apache Beam 测试指标分析:用 Jupyter 从 Jenkins 采集与剖析 PreCommit 任务耗时

本文围绕 Apache Beam 仓库中 [.test-infra/jupyter](https://link.gitcode.com/i/79665e4ff29b1ffba0655a4703a197a0) 目录下的测试指标分析工作流展开,讲解如何在本地用 Jupyter Notebook 从 Jenkins(ci-beam.apache.org)拉取 PreCommit 任务与单个测试用例的统计

gitblog_00043的博客 414

走进KeyDB

KeyDB项目是从redis fork出来的分支。众所周知redis是一个单线程的kv内存存储系统,而KeyDB在100%兼容redis API的情况下将redis改造成多线程。 网上公开的技术细节比较少,本文基本是通过阅读源码总结出来的,如有错漏之处欢迎指正。 多线程架构 线程模型 ...

chikuai9995的博客 676

KeyDB 详解:高性能、多线程的 Redis 兼容数据库

KeyDB 是一个高性能的 Redis 兼容数据库,采用多线程架构提升性能。它完全支持 Redis 协议和数据结构,同时提供多主复制、TLS/SSL 等企业级功能。在 8 核 CPU 上,KeyDB 的 QPS 可达 Redis 的 3-5 倍,特别适合高并发场景。安装配置简单,可直接替换 Redis 而不需修改应用代码。典型应用包括高并发缓存、实时排行榜等。虽然社区生态小于 Redis,但 KeyDB 凭借其性能优势成为 Redis 的有力替代方案,尤其适合多核服务器和多地域部署场景。

csdn_tom_168的博客 1701

推荐开源项目:KeyDB - 高性能、分布式键值存储系统

是一个由 John Sully 创建并维护的开源项目,它是一个高度可扩展、多线程的 Redis 兼容数据库。KeyDB 的目标是提供比 Redis 更高的性能和更低的延迟,特别适合需要大量并发读写的高负载应用。 ## 技术分析 ### 多线程架构 KeyDB 最大的特点是其多线程设计。传统的 Redis 单线程模型在处理大量请求时可能会成为瓶颈,而 KeyDB 使用多个工作线程并发处理命令,...

gitblog_00080的博客 704

比Redis更强,性能直接飙升一倍!

什么是KeyDB?KeyDB是Redis的高性能分支,专注于多线程,内存效率和高吞吐量。除了多线程之外,KeyDB还具有仅在Redis Enterprise中可用的功能,例如Active Replication,FLASH存储支持以及一些根本不可用的功能,例如直接备份到AWS S3。KeyDB与Redis协议,模块和脚本保持完全兼容性。这包括脚本和事务的原子性保证。由于KeyDB与Redis开发保持同步,因此KeyDB是Redis功能的超集,从而使KeyDB取代了现有Redis部署。

qq_42003636的博客 700

【亲测免费】 KeyDB 安装与使用教程

本教程将引导您了解并安装KeyDB,这是一个高性能的Redis分支,专注于多线程、内存效率和高吞吐量。我们将覆盖以下主要内容: 1. **项目目录结构** 2. **启动文件简介** 3. **配置文件详解** --- ## 1. 项目目录结构 KeyDB的GitHub仓库中包含了多个子目录,它们分别用于不同的目的: - `src/`:源代码目录,包含编译KeyDB所需的所有C源文件。 ...

gitblog_00309的博客 872

Redis 性能更强的数据库KeyDB

KeyDB是Redis的高性能分支,专注于多线程,内存效率和高吞吐量。除了多线程之外,KeyDB还具有仅在Redis Enterprise中可用的功能,例如Active Replication,FLASH存储支持以及一些根本不可用的功能,例如直接备份到AWS S3。KeyDB与Redis协议,模块和脚本保持完全兼容性。这包括脚本和事务的原子性保证。由于KeyDB与Redis开发保持同步,因此KeyDB是Redis功能的超集,从而使KeyDB取代了现有Redis部署。

z_ssyy的博客 951

KeyDB 开源项目教程

KeyDB 是一个高性能的 Redis 分支,专注于多线程、内存效率和高吞吐量。KeyDB 由 Snap Inc. 支持,是一个完全开源的数据库,旨在作为 Redis 的更快替代方案。KeyDB 在多线程架构上进行了优化,能够在单个节点上处理大量工作负载,并且在内存中保持数据,以实现亚毫秒级的延迟。 KeyDB 提供了多种数据结构支持,如字符串、哈希、列表、集合、有序集合、位图、HyperLog...

gitblog_01158的博客 1221

KeyDB源码解析一——网络模型

多线程版Redis—KeyDB架构解析一——网络模型

yh88623131的博客 947
上一篇: Cool Request:可以统计任意方法耗时
下一篇: LivePortrait:有点好玩的!
架构文摘JGWZ
博客等级 码龄5年 8808粉丝 345原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值