Tailrank 网站架构

最新推荐文章于 2025-08-08 15:57:23 发布

转载最新推荐文章于 2025-08-08 15:57:23 发布 · 884 阅读

文章标签：

#数据库 #profiling #mysql #服务器 #comments #generator

大规模系统架构专栏收录该内容

130 篇文章

订阅专栏

Tailrank是一家专注于实时热点发现的Web2.0创业公司，每小时处理2400万个Blog和Feed更新，每月处理52TB原始数据。采用15台装备Opteron CPU的服务器，运行Debian Linux，并使用Apache和Squid进行Web服务。数据库方面采用联邦形式的MySQL，使用InnoDB存储引擎。此外，还利用多种开源工具保障系统稳定性和性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原贴:http://www.dbanotes.net/review/tailrank_arch.html

Tailrank 网站架构

作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.dbanotes.net/review/tailrank_arch.html

每天数以千万计的 Blog 内容中，实时的热点是什么? Tailrank 这个 Web 2.0 Startup 致力于回答这个问题。

专门爆料网站架构的 Todd Hoff 对 Kevin Burton 进行了采访。于是我们能了解一下 Tailrank 架构的一些信息。每小时索引 2400 万的 Blog 与 Feed，内容处理能力为 160-200Mbps，IO 写入大约在10-15MBps。每个月要处理 52T 之多的原始数据。Tailrank 所用的爬虫现在已经成为一个独立产品：spinn3r。

服务器硬件

目前大约 15 台服务器，CPU 是 64 位的 Opteron。每台主机上挂两个 SATA 盘，做 RAID 0。据我所知，国内很多 Web 2.0 公司也用的是类似的方式，SATA 盘容量达，低廉价格，堪称不二之选。操作系统用的是 Debian Linux 。Web 服务器用 Apache 2.0，Squid 做反向代理服务器。

数据库

Tailrank 用 MySQL 数据库，联邦数据库形式。存储引擎用 InnoDB，数据量 500GB。Kevin Burton 也指出了 MySQL 5 在修了一些多核模式下互斥锁的问题(This Bug?)。到数据库的JDBC 驱动连接池用 lbpool 做负载均衡。MySQL Slave 或者 Master的复制用 MySQLSlaveSync 来轻松完成。不过即使这样，还要花费 20％的时间来折腾 DB。

其他开放的软件

任何一套系统都离不开合适的 Profiling 工具，Tailrank 也不利外，针对 Java 程序的 Benchmark 用 Benchmark4j。Log 工具用 Log5j(不是 Log4j)。Tailrank 所用的大部分工具都是开放的。

Tailrank 的一个比较大的竞争对手是 Techmeme，虽然二者暂时看面向内容的侧重点有所不同。其实，最大的对手还是自己，当需要挖掘的信息量越来越大，如果精准并及时的呈现给用户内容的成本会越来越高。从现在来看，Tailrank 离预期目标还差的很远。期待罗马早日建成。

--EOF--

这篇【 Tailrank 网站架构】来自 dbanotes.net |

del.icio.us | 雅虎收藏⁺

By Fenng on November 20, 2007 8:30 PM | Permalink | Comments (2) | Review | Edit

Generator
<script src="http://pagead2.googlesyndication.com/pagead/show_ads.js" type="text/javascr<script language="javascript1.1" src="http://pagead2.googlesyndication.com/cpa/ads?client=ca-pub-2198040673582211&cpa_choice=caaqhat2_geaci52gvkp95-sklgsuiebmaa&oe=utf-8&dt=1195645051406&lmt=1195621016&format=ref_text&output=textlink&correlator=1195645051390&url=http%3a%2f%2fwww.dbanotes.net%2freview%2ftailrank_arch.html&region=_google_cpa_region_&ref=http%3a%2f%2fwww.dbanotes.net%2f&cc=100&ga_vid=1564794783.1195645051&ga_sid=1195645051&ga_hid=1170564131&flash=9&u_h=1024&u_w=1280&u_ah=874&u_aw=1280&u_cd=32&u_tz=480&u_his=1&u_java=true" type="text/javascript"></script>type="text/javascript"> Get Firefox with Google Toolbar for better browsing
Generate revenue from your website. Google AdSense.