nubmq：高效键值缓存引擎

nubmq：高效键值缓存引擎

nubmq A high performant key-value storage engine engineered from first principles 项目地址: https://gitcode.com/gh_mirrors/nu/nubmq

项目介绍

nubmq 是一款高性能的键值缓存引擎，完全使用纯 Go 语言编写，无需依赖其他库。该引擎支持原生发布-订阅功能，专为高频率、高争用工作负载设计。nubmq 以其出色的性能和实时性，为现代计算环境下的缓存需求提供了解决方案。

项目技术分析

nubmq 的核心是自适应分片技术，它能够实时动态地扩展，从而在保证服务不间断的同时，实现资源的最大化利用。以下是该项目的几个技术亮点：

• 自适应分片：系统从一个桶开始，并根据负载实时动态扩展。
• 无停机重分片：实时迁移分片，确保操作不受干扰。
• 真正的弹性：根据争用情况自动扩展或缩减资源。
• 双引擎模型：在争用过高时，写入操作转移到更大的引擎上，而旧引擎继续处理读取请求。

项目及技术应用场景

nubmq 的设计适用于多种场景，特别是那些需要高频率读写操作的应用。以下是一些典型的使用场景：

• 高频交易系统：在交易系统中，快速的数据存取是至关重要的。
• 实时分析：处理实时数据流，进行快速的数据更新和分析。
• 游戏服务器：游戏中频繁的玩家状态更新和缓存需求，nubmq 能提供高效的支持。

项目特点

以下是 nubmq 的一些显著特点：

• 无轮询事件通知：nubmq 采用事件驱动模型，无需轮询即可实时接收通知。
• 高效读写操作：nubmq 的 SET/GET 操作速度极快，满足高性能缓存的需求。
• 内置过期机制：支持自动的 TTL（Time To Live）管理，无需手动干预。
• 内存高效：通过动态垃圾回收，保持内存使用的高效性。

项目优势对比

nubmq 在性能和功能上与其他类似项目相比具有以下优势：

| 特性 | nubmq | Redis | Memcached | Etcd | | --- | --- | --- | --- | --- | | 架构 | 自适应分片 | 单线程 | 静态桶 | Raft 共识 | | 可扩展性 | 自动扩展/缩减 | 垂直扩展 | 水平扩展 | 有限 | | 写入延迟 | 900µs | ~1.1ms | ~1.5ms | ~3ms | | 读取延迟 | 500µs | ~700µs | ~1ms | ~2ms | | 最大吞吐量 | 178,766 ops/sec | ~85,000 ops/sec | ~60,000 ops/sec | ~20,000 ops/sec | | 发布-订阅支持 | 是，实时 | 是，较慢 | 否 | 否 | | TTL 处理 | 原生，优化 | 是，较重 | 否 | 否 | | 无锁读取 | 是 | 否 | 是 | 否 | | 内存效率 | 高，动态 GC | 中等 | 高 | 低 | | 依赖 | 无（纯 Go） | Libevent, Lua | Libevent | Raft |

性能测试

nubmq 在性能测试中表现卓越。在一次最近的重构中，将 sync.map 替换为自定义的哈希表实现，性能提升了约 40%。在 8 核无风扇 M2 Air 上进行的基准测试显示，100 个并发客户端的情况下，峰值吞吐量达到了 178,766 ops/sec。

结语

nubmq 是一款值得关注的键值缓存引擎，特别是在需要高性能和实时性的应用场景中。其无依赖的纯 Go 语言实现和自适应分片技术，使其在处理高频、高争用的工作负载时具有显著优势。尽管目前仍在开发中，但其出色的性能和功能特性已经使其成为开源缓存解决方案中的佼佼者。

nubmq A high performant key-value storage engine engineered from first principles 项目地址: https://gitcode.com/gh_mirrors/nu/nubmq