优化索引大小,主要有倒排、词表、词向量、正排等几个方向,类似词表可以使用lucence中压缩率更高的词典树(共前缀、共后缀),还可以考虑停用词、词频过滤等,词向量主要是标红用,可以采用实时计算的方式去掉词向量,节省存储。正倒排的优化方向更多一些,类似压缩、connect、编码等。
搜索引擎 - 索引大小优化
本文探讨了优化索引大小的几种策略,包括倒排索引、词表压缩、词向量处理以及正排索引的优化。提到利用Lucene的压缩词典树减少共前缀和共后缀的空间占用,同时考虑停用词和词频过滤以节省存储。词向量部分建议采用实时计算去除,以降低存储需求。正倒排索引的优化则涉及压缩、连接和编码等技术。

被折叠的 条评论
为什么被折叠?



