深度学习核心技术精讲100篇（十六）-搜索引擎Indri系列之如何建立索引 (Indexing)&检索&评价 (Evaluation)

文宇肃然

于 2020-07-10 09:32:57 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习100例全系列详细教程文章标签：索引检索评价搜索引擎 indri

本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/107182032

本文详细讲解了Indri搜索引擎的索引构建、检索模型和评价方法。介绍了XML参数文件在索引过程中的作用，以及Indri提供的TF-IDF、BM25和Language Model检索模型，特别是Language Model的平滑方法。还提到了Indri的反馈模型，仅支持TF-IDF和Language Model，并给出了trec_eval的使用方法和命令行示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

在为文档集建立索引时，需要执行IndriBuildIndex path-to-to-index_parameter_file。这里的index_parameter_file是xml格式的参数文件，用来配置索引模型的参数。
下面详细说明参数的使用方法。


<parameters>
    <memory>1G</memory>  #运行索引需要的内存，数字后可加K/M/G来表示大小，例如100M=100000000
    <index>/home/PROJECT/Index</index> #存放生成的索引的路径，注意：重新生成索引时要把原索引删除
    <stemmer> #词干提取，分为krovetz和porter，默认无词干提取
        <name>krovetz</name>
    </stemmer> 

    <stopper> #指定停用词，默认无停用词
        <word>stopword</word>
    </stopper> 
    
    <corpus>  #可多次指定
        <path>/home/Collections/Volume1</path> #需要建立索引的语料的存放路径
        <class>trectext&

了解本专栏