Facebook 的 Memcached 扩展经验

原贴: http://www.dbanotes.net/arch/facebook_memcached_scaling.html

Facebook 的 Memcached 扩展经验

作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.dbanotes.net/arch/facebook_memcached_scaling.html

周末的时候看到这篇 Scaling memcached at Facebook，感觉挺有料。但似乎又没什么可写的。最多就是准翻译一下。

相比之前介绍过的数据( 5TB数据/400台服务器).，现在 Facebook 在 Memcached 上的内容已经超过 28TB，总服务器数量超过 800 台。可见硬件降价真是够快的，内存的确便宜得很。

Facebook 作出改进的第一个问题是 Apache (连接带来的)进程连接开销问题。实现了一个针对 TCP/UDP 的共享的进程连接缓冲池。共享的方式比针对单连接独占内存的方式节省不少内存资源。考虑到一共有 800 台乃至更多的服务器，总体节省的内存资源是惊人的。

第二个改进是 UDP 模式的效率问题。第三个改进是网络中断给 CPU 带来的影响，这个我觉得就是变相的实现了 Intel I/OAT 的某些功能。补充一句，网络中断的问题其实是给很多企图制造山寨存储的技术人员一个拦路虎。

最后一个问题是在 8 核芯片上发现的新瓶颈。这个问题我想对于在多核机器上跑 MySQL 也会有很大借鉴作用。CPU 不是越多越好。有些开源软件与硬件的配合上面应该的确稍微滞后(不是落后)一点。

四个大的改进的结果是从 50, 000 /s 的 UDP 请求到 300,000 /s 的 UDP 请求支撑能力，延迟只有 173 ms。

Facebook 的技术还是挺开放的。这一点上比 Google 强多了。

--EOF--

这篇 【 Facebook 的 Memcached 扩展经验 】来自 dbanotes.net | del.icio.us | 雅虎收藏⁺

By Fenng on December 15, 2008 6:46 PM | Permalink | TrackBacks (0) | Arch | Edit

ShareThis

0 0 1 0

Generator | Trampoline | 外贸英才网 | Vinyl fence
Vertical Packaging Machine | Digital Blood Pressure Monitor

自定义搜索

本文相关评论|Comments(6)

ShiningRay 的评论:

Google的技术也很开放吧

我敢打赌，Google开放的技术绝对比Facebook要多得多

December 15, 2008 6:54 PM

fire9 的评论:

真巧啊，今天正好打算研究一下memcached，你就写一篇相关文章。google很多好的技术还是没有拿出来分享，这点的确不如facebook。我同意博主的观点。

December 15, 2008 9:29 PM

有了 的评论:

淘宝和支付宝也不见得开放了什么技术

December 16, 2008 7:27 AM

ShiningRay 的评论:

翻译了该文章：

http://shiningray.cn/scaling-memcached-at-facebook.html

觉得楼主的描述有点容易误导人，你这里第三段和Apache没有关系

December 16, 2008 2:35 PM

Fenng 的评论:

@ShiningRay

我也没说和 Apache 有什么关系

December 16, 2008 4:01 PM

Fenng 的评论:

更新了一下

December 16, 2008 4:03 PM

添加评论