fover717的专栏

信息检索导论学习笔记（一）布尔检索 定义 信息检索是从大规模非结构化数据（通常是文本）的集合（通常保存在计算机上）中找出满足用户信息需求的资料（通常是文档）的过程。 倒排索引 为提高查询效率，建立倒排索引 习题解答： 1-10 X or Y Intersect(p1,p2) answer <- {} while p1!=NULL and p2!=NULL d

信息检索导论学习笔记（三） 词词典及容错式检索 1.词典搜索的数据结构 哈希表方式 查询速度快，但是无法处理前缀式查询 搜索树方式 注意搜索树的平衡性 2.通配符查询 （1） 反向B-树 通配符不出现在末尾的情况，出现在起始位置。 结合B-树和反向B-树 通配符在中间的情况 （2） 轮转索引 能查询通配符在中间的情况，但是词典会变大 k-gr

信息检索导论学习笔记（二） 词项词典和倒排记录表 文档的分析和编码的转换 1.生成字符序列 2.文档单位的选择 词项集合的选择 （1）词条化 词条化处理往往与语言本省有关，不同语言下的词条化并不相同。 （2）去除停用词 （3）归并处理 （4）词干还原（stemming）和词形归并（lemmatization） 基于跳表的倒排记录表快速归并算法（skip list） 在更号

信息检索导论学习笔记（四） 索引构建 1.基于块的排序索引方法 2.内存是单遍扫描索引构建方法

The Anatomy of a Large-Scale Hypertextual Web Search Engine 这篇文章的原文在：http://infolab.stanford.edu/~backrub/google.html 这是一篇分析大规模文本搜索引擎的文章，分析的是google的搜索引擎，除了传统的搜索引擎应用到大规模数据的问题，本文还介绍了新的技术挑战包括利用超文本的附加

该方法是使用的Levenshtein算法的一个实现。  简单介绍下Levenshtein Distance(LD)：LD 可能衡量两字符串的相似性。它们的距离就是一个字符串转换成那一个字符串过程中的添加、删除、修改数值。     举例： 如果str1="test"，str2="test"，那么LD(str1,str2) = 0。没有经过转换。如果str1="test"