倒排索引构建算法SPIMI（已实现，修订版）

最新推荐文章于 2023-04-05 23:31:39 发布

原创

最新推荐文章于 2023-04-05 23:31:39 发布 · 1.5w 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #dictionary #文档 #数据结构 #token #struct

本文介绍了信息检索中的倒排索引构建方法SPIMI，该方法通过内存单遍扫描将文档集分割成可一次性装入内存的块，使用哈希表作为词典，并动态调整倒排记录表空间。当内存耗尽时，将索引块写入磁盘。最后，通过合并多个磁盘块形成完整的倒排索引。作者已实现该算法，采用暴雪哈希算法避免冲突，使用结构体存储哈希表和文档信息。算法还包括倒排文件的合并策略，确保内存管理和效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

信息检索导论中提到的倒排索引构建方法：
                                内存式单遍扫描索引构建方法（SPIMI : Single-pass in-memeory indexing）：
    思想：将一个文档集分割成几个大小相等的部分，参考标准就是分成的每个块可以一次性的装入内存
                将处理每个块产生的词典写入磁盘，对于下一个块则重新采用新的词典。只要硬盘空间足够大，
                SPIMI就能索引任何大小的文档集。
算法流程（在执行过程中反复调用SPIMI-Invert函数直到将全部文档集处理完成）：
SPIMI-Invert(token_stream)
1   output_file = NEWFILE()
2 dictionary = NEWHASH()
3   while(free memory available)
4   do token ← next(token_stream)
5   if term(token) !∈dictionary   // 即不在词典中
6       then postings_list = AddToDictionary(dictionary, term(token))   // 加入词典并返回词典位置
7  else postings_list = GetPostingList(dictionary, term(token))      // 找到词典位置
8  if full(postings_list)                                                                           // 关键词对应存储倒排文档的数据结构可用空间是否已满
9    then postings_list = DoublePostingList(dictinary, term(token))         // 重新分配关键词对应存储倒排文档的数据结构可用空间使其变为原来2倍
10 AddToPostingsList(postings_list, docId(token))                        &nb