如何一天做出搜索引擎（2）——搜索与匹配

最新推荐文章于 2024-03-20 12:24:57 发布

原创

最新推荐文章于 2024-03-20 12:24:57 发布 · 1.4k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#BM25 #匹配新闻 #搜索引擎 #新浪新闻 #数据库

本文介绍如何构建搜索引擎的搜索匹配部分，结合BM25算法评估新闻的相关性和时效性。首先，处理用户输入，去除停用词和标点符号得到关键词。接着，从数据库中获取新闻的词频统计信息。最后，利用BM25算法对新闻进行评分，考虑词频和发布时间，快速返回相关性高的新闻结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

写在前面

大家好！这一章主要介绍搜索引擎的搜索与匹配部分的思路与实现。在上一章中，我们实现了新浪新闻的搜集和数据库的建立。这为我们这一章的搜索打下了基础。我们在这一章要实现搜索引擎的最为重要的部分——将用户输入的文字与数据库中的新闻进行匹配，从而为用户推荐与他的搜索最为相关的、且时效性较好的几条新闻。

这篇文章只是讲解思路，代码的展示也是为了配合讲解。如果大家要查看源码，请移步我的github，这篇文章所讲内容在Search.py中。

开启我们的旅程

我们的目标是对于用户输入的语句，搜索引擎能够从数据库中找到最相关的新闻。当然，相关性不是我们唯一的目标，因为如果一篇新闻的相关性很高，但它是几年前发布的，那它就失去了时效性，这种新闻一般也是没有价值的。所以我们程序在给新闻打分的时候，要兼顾相关性和时效性。

让我们开启旅程吧?

1. 处理搜索语句

首先我们对用户输入的语句进行处理。和处理新闻的思路一样，我们先用jieba库对用户输入的语句分词。再将这些词中的停用词和标点符号去除（停用词的概念请参考我的上一篇博客）。剩下的词就可以作为我们搜索的关键词啦。

举个栗子，如果我输入“中国和美国之间的贸易战”，在处理完以后，剩下的关键词就是“中国”、“美国”、“之间”、“贸易战”，而停用词“和”、“的”就被去除了。

提取出关键词后，我们还要对关键词的词频进行统计。试想，如果在搜索语句中“中国”出现了3次，而“美国”只出现了1次，那么说明用户更关心“中国”，所以与“中国”有关的新闻就应该排在与“美国”有关新闻之前。于是我们还应该统计关键词的词频，并用一个字典记录下来，留着之后推荐度打分用。

输入“中国与美国之间的贸易战，中国将如何应对”，程序的关键词提取和词频统计结果：
在这里插入图片描述
代码如下：

def search(sentence, N, avg_l):
    build_StopWords()	#建立停用词文档
    #对输入的词进行相关度评价
    searchTerms1 = jieba.lcut(sentence, cut_all = False)
    #清除停用词
    searchTerms = {
   
   }
    for p in searchTerms1:
        p=p.strip()
        if len(p)>0 and p not in stop_words and not p.isdigit(