weiliang_Handan的博客

BM25（Best Matching 25）是一个常用于信息检索中的排名函数，它基于词频（TF）和逆文档频率（IDF）计算文档与查询之间的相关性。对于单个CPU能够每秒支持多少次BM25计算，影响因素有很多，比如CPU的性能（如时钟频率、核心数）、BM25公式的计算复杂度、数据大小、查询和文档的长度等。如果假设每个查询只包含一个关键词，文档的长度适中，并且系统已经建立了优化的索引，单个BM25计算的时间一般来说在几十微秒到几毫秒之间。在这种情况下，单核CPU每秒可以支持的BM25计算次数大约在。

BM25 是一种流行的文本检索算法，广泛用于搜索引擎和文档相关性评分。它基于概率检索模型，旨在评估查询和文档之间的相关性。

Lucene的索引文件格式设计精妙，利用模块化和压缩技术实现了存储空间与查询效率的平衡。segments_N是索引的全局入口，.tis和.tii负责词典管理，.frq和.prx记录倒排索引的数据，.fdt和.fdx提供字段存储支持。通过这些文件的协作，Lucene能够在大规模数据中实现高效的全文检索。

倒排表通过将词元映射到文档ID列表及位置信息，实现了从“词元到文档”的高效查找。词典提供了词元到倒排表的索引，而倒排表记录了文档的详细信息，使得全文检索可以在海量数据中实现快速查询。Lucene的这种设计在存储空间和查询效率之间取得了很好的平衡，是其性能卓越的核心原因。

词典和倒排表通过将关键词与文档的映射结构化，大大提升了搜索引擎的查询效率，使得在海量数据中快速、准确地定位和排序成为可能。这种数据结构是全文检索系统的基础，也是Lucene性能强大的关键原因。

Lucene构建索引的流程将非结构化文本数据转化为倒排索引结构，通过分词、去停用词、语言处理等步骤，将文本数据变得结构化和标准化。最终生成的倒排索引可以支持快速高效的关键词和短语查询，极大提升了全文检索的效率和性能。模型重新生成配图： illustration showing Lucene’s indexing process, detailing each step from tokenization to inverted index construction。

Lucene构建索引的全过程将非结构化文本数据逐步结构化，通过分词、倒排索引、段合并、文件存储等步骤，实现了高效的索引查询。构建好的倒排索引允许在大规模数据中快速定位查询关键词，从而大幅提升查询性能。查询速度快：倒排索引使得关键词定位速度极快，适合海量数据的全文检索。一次索引，多次查询：索引构建是一次性操作，生成后可以多次复用，提高了查询效率。支持复杂查询：Lucene的索引结构支持布尔查询、短语查询等多种复杂查询条件。

解析查询：用户输入的查询语句被解析，生成查询对象树。查询执行遍历查询对象树，通过倒排索引查找相关文档。打分和排序：根据Similarity模块计算文档得分，按相关性排序后返回。Lucene通过模块化的架构设计，实现了从数据分析、索引存储到查询解析、结果打分的完整全文检索流程。其核心组件各司其职，使得Lucene在处理海量非结构化数据时表现出极高的效率和灵活性。

相比顺序扫描，全文检索通过建立索引将查找变为在结构化数据中检索，显著减少了查询时间和资源消耗。对于大规模数据集，索引的初始创建开销远小于重复扫描所有文件的成本，因此全文检索在效率上具有明显优势。

全文检索是一种搜索技术，能够在大量文本内容中查找特定的词语或短语。这种技术特别适合非结构化数据，因为它通过构建倒排索引来快速定位包含指定关键字的文档，从而大大提升查询速度。索引创建（Indexing）：从原始数据中提取关键词并构建索引。索引查询（Searching）：根据用户查询词在索引中查找匹配文档，按相关性排序返回结果。在日常搜索引擎（如Google）或本地文件系统（如Windows文件搜索）中，全文检索都极为常见。

基于《Lucene原理与代码分析完整版》，制定了一个系统学习Lucene原理的计划，并将每个阶段的学习内容组织成专栏文章，zero2hero 手搓 Lucene的核心概念和实现细节。