【Lucene】全文检索 vs 顺序扫描，为何建立索引比逐个文件搜索更高效？

全文检索与顺序扫描的核心区别在于是否建立索引，而这种差异直接影响了两者的搜索效率。以下是二者的对比和为何建立索引更高效的原因：

顺序扫描

顺序扫描（Serial Scanning）指的是逐个扫描文件或数据集，从头到尾检查每个文档是否包含所需的关键词。这种方式在数据量较小时效果尚可，但随着数据量的增长会显著变慢。

顺序扫描的特点

1. 时间复杂度高：每次查询都需要完整扫描所有数据。
2. 无优化机制：无法利用任何预处理信息加速查询。
3. 适合小数据集：对于小型数据集，顺序扫描虽然效率低，但实现简单、无索引开销。

示例

如果一个文档集合包含数百万篇文章，用户查询“Lucene”时，顺序扫描方式会一篇篇扫描每个文档，直到找到符合条件的文档。显然，这在大规模数据下极为耗时。

全文检索

全文检索是通过建立索引将文档中每个词汇的位置、频率等信息预处理成一个反向索引，从而加速查询。在实际应用中，全文检索系统如Lucene、Elasticsearch等都基于倒排索引。

全文检索的特点

1. 预处理的索引：全文检索通过预先建立索引，将关键词与文档关联起来。
2. 时间