u012341849的专栏

概念      TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作

BM25算法 BM25是二元独立模型的扩展，其得分函数有很多形式，最普通的形式如下：   ∑    其中，k1,k2,K均为经验设置的参数，fi是词项在文档中的频率，qfi是词项在查询中的频率。 K1通常为1.2，通常为0-1000 K的形式较为复杂   K=   上式中，dl表示文档的长度，avdl表示文档的平均长度，b通常取0.