【后端高阶面经：架构篇】51、搜索引擎架构与排序算法：面试关键知识点全解析

一、搜索引擎核心基石：倒排索引技术深度解析

（一）倒排索引的本质与构建流程

倒排索引（Inverted Index）是搜索引擎实现快速检索的核心数据结构，与传统数据库的正向索引（文档→关键词）不同，它通过关键词→文档集合的映射关系，将查询复杂度从O(N)降至O(1)。其构建流程如下：

1. 数据预处理：从原始文本到词元（Lexeme）

• 中文分词挑战：需解决分词歧义（如“乒乓球拍卖完了”可拆分为“乒乓球/拍卖/完了”或“乒乓球拍/卖/完了”）。
  解决方案：使用IK分词器结合自定义词典（如电商领域词库），或基于深度学习的分词模型（如LSTM+CRF）。
• 词元处理：
  • 小写转换（统一大小写）
  • 停用词过滤（去除“的”“了”等无意义词汇）
  • 词干提取（如将“running”转换为“run”）

2. 倒排表构建：从词元到文档列表

graph TD
    A