1、分布式搜索引擎与稳定匹配机制的探索

分布式搜索引擎与稳定匹配机制的探索

1. 分布式搜索引擎的需求与挑战

1.1 传统搜索引擎的困境

传统的标准 Web 搜索引擎主要由两部分构成：离线部分负责抓取网页（爬虫程序）并构建文本内容索引（索引器）；在线部分则处理查询流（查询处理器）。从用户角度来看，对搜索引擎有三个主要要求：高质量的答案、短响应时间以及索引中包含大量的 Web 集合。

随着互联网用户数量的剧增，要满足这些需求，就需要强大的硬件和软件基础设施来处理大量数据的索引和高查询吞吐量。以拥有 1000 亿个网页为例，至少需要 500TB 的文本或约 100TB 的索引。为了提高效率，大部分索引需要存储在内存中，每个集群可能需要约 2500 台计算机来存储索引。

假设一个集群每秒能处理 1000 个查询，若每天要处理 5 亿个查询，平均每秒需要处理 5800 个查询，高峰时每秒约 12000 个查询，那么至少需要复制系统 12 次，总共至少需要 30000 台计算机。部署这样的系统成本可能超过一亿美元，还不包括人员、电力、带宽等拥有成本。如果 Web 规模扩大 10 倍，查询流量翻倍，所需计算机数量将达到至少 50 万台，这显然不太现实。

1.2 分布式搜索引擎的优势

集中式 Web 搜索引擎在经济上有一定吸引力，但系统架构师可能忽视了在靠近终端用户的地方设置小型数据中心的潜在优势。实际上，分布式 Web 搜索架构是解决 Web 搜索可扩展性问题的潜在方案。

分布式搜索引擎具有诸多优势，例如：
- 接近数据和用户 ：搜索引擎靠近 Web 数据和用户，能减少完成相同抓取任务所需的机器数