Twitter——针对MemCached与Redis的代理

最新推荐文章于 2025-01-12 20:08:53 发布

最新推荐文章于 2025-01-12 20:08:53 发布 · 84 阅读

文章标签：

Twemproxy是一个用于减少Memcached或Redis服务器连接数的代理服务器，通过代理方式、自动数据共享、一致性散列、失败节点配置禁用等功能提升性能。在Redis集群应用中，它能通过禁用结点或驱逐来实现数据分片与高可用性，同时保持性能损失不超过20%，支持命令流式与批处理，运行在多个实例上，提高Redis集群的效率。

Twemproxy是一个代理服务器，可以通过它减少Memcached或Redis服务器所打开的连接数。
Twemproxy有何用途呢？它可以：

通过代理的方式减少缓存服务器的连接数
自动在多台缓存服务器间共享数据
通过不同的策略与散列函数支持一致性散列
通过配置的方式禁用失败的结点
运行在多个实例上，客户端可以连接到首个可用的代理服务器
支持请求的流式与批处理，因而能够降低来回的消耗

Redis的创建者Salvatore Sanfilippo（@antirez）撰写了一篇文章，介绍了如何通过Twemproxy在开启Redis-cluster特性前就让Redis集群发挥作用，而在大多数情况下都不会丧失太多的性能：

Twemproxy的强大之处在于可以通过配置的方式让它禁用掉失败的结点，同时还能在一段时间后进行重试，抑或使用指定的键->服务器映射。这意味着在将Redis用作数据存储时，它可以对Redis数据集进行分片（禁用掉结点驱逐）；在将Redis用作缓存时，它可以启用结点驱逐以实现简单的高可用性。

Twemproxy速度很快，真的很快，它几乎与直接访问Redis速度一样快。我敢说在最差的情况下，性能也只不过才损失20%而已。

我对性能问题唯一的想法是当在多个实例上使用命令时，我觉得MGET还有改进空间。

Twemproxy早在今年初由Twitter开源，它最开始支持Memcached，最近又添加了对Redis的支持。Twitter使用了大量的缓存服务器，每秒会发送300k的tweet；可以看看这篇介绍Real-Time Delivery Architecture At Twitter以了解更多信息。