jianglingbixin的博客

目录布尔查询之BSBI与索引压缩代码描述：数据集与代码数据集IdMapInvertedIndexInvertedIndexWriterInvertedIndexIteratorInvertedIndexMapperBSBIIndexsorted_intersectCompressedPostings总结布尔查询之BSBI与索引压缩使用斯坦福大学CS 276 / LING 286: Information Retrieval and Web Search课程的代码框架来实现。代码描述：对文档块逐个

前言在本专栏前一篇布尔检索——短语检索的基础上，实现 k-gram 索引，利用 Jaccard 距离进行初步筛选，结合 Soundex的索引结果， 最后用动态规划算法选择最相似的一个词，给出结果。动态规划算法计算编辑距离# 计算编辑距离 def distan(self, word1, word2): len1 = len(word1) len2 = len(word2) row1 = list(range(0, len1+1))

目录前言一、对文本进行分词二、获取文本文件三、词法分析四、布尔检索类五、调用总结前言此专栏记录信息检索课程的学习。部分代码框架来自温柔的助教小哥哥。Talk is cheap.一、对文本进行分词使用了NLTK工具def get_words(text): text = text.lower() # 全部字符转为小写 words = nltk.word_tokenize(text) # 分词 return words二、获取文本文件给定文本文件目录，获取目录