如何把索引放在内存中提供查询服务

Lucene内存优化

最新推荐文章于 2023-09-08 18:05:04 发布

最新推荐文章于 2023-09-08 18:05:04 发布 · 331 阅读

文章标签：

#lucene #Apache

本文介绍了一种通过修改Lucene源码实现将200万条以下数据加载至内存的方法，以此提升查询速度至0.1秒内。适用于文档数量不大且平均页面大小较小的情况。此外还介绍了使用RAMDirectory替代FSDirectory进行索引创建的优势。

200W以下的数据量全部加载到内存最简单的方式是修改Lucene（1.9版本）源码 org.apache.lucene.index.IndexReader文件的第127行将
return open(FSDirectory.getDirectory(path, false), true);
修改为
return open(new RAMDirectory(FSDirectory.getDirectory(path, false)), true);

将133行的
return open(FSDirectory.getDirectory(path, false), true);
修改为
return open(new RAMDirectory( FSDirectory.getDirectory(path, false)), true);
这样就可以在查询的时候将所有索引一次加载到内存，查询响应时间即使是第一次查询，也会小于0.1秒，但仅适用于索引文档数量不超过200W个，并且平均的页面大小不超过10K，文献检索系统，这种方式尤其适合。
创建索引的时候也能够使用 RAMDirectory ，比FSDirectory 要快很多。