深入理解搜索引擎-搜索召回

最新推荐文章于 2025-04-15 18:42:17 发布
最新推荐文章于 2025-04-15 18:42:17 发布
阅读量4.7k 收藏 20
点赞数 4
分类专栏： 药老算法 文章标签： 搜索引擎 自然语言处理 深度学习 数据挖掘 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hqm_1994/article/details/116142566
版权
本文深入探讨搜索引擎的召回过程，包括基于词的传统召回和基于向量的语义召回。传统召回利用倒排索引，而语义召回如DSSM、DPSR和BERT模型解决了词义相似性的召回问题，提高搜索结果的相关性和多样性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

​你有没有想过，当我们在搜索框中输入关键词时，搜索引擎是如何确定返回哪些内容给你的？搜索引擎底层有一个巨大的索引库，返回的搜索结果跟你输入的关键词又有什么关系？今天我们就来讲讲搜索引擎中的召回。

召回是根据输入的query，能够高效的获取query相关的候选doc集合的过程。相关的doc如果不能被被召回，即使后面的粗排、精排做的再好也是徒劳无功。所以召回对于搜索引擎是非常重要的，决定了搜索引擎质量的上限。

本文主要讲解两类召回算法，包含基于词的传统召回和基于向量的语义召回。

基于词的传统召回

基于词的召回底层实现基于倒排索引，在上一篇《索引技术》我们有讲到过，倒排索引如何建立以及它的索引结构，当用户输入query后，搜索引擎会进行query理解(具体流程可参考《详解query理解》)并分词，得到一个个独立的[Term1、Term2…TermN]，根据这些词到倒排索引中进行查找Term所在的文档即完成了召回。拿之前的例子来讲，倒排索引如下：

最低0.47元/天 解锁文章
深入理解搜索引擎——基于DPSR的个性化召回模型
我是药老的博客
06-22 883
DPSR是京东发表于SIGIR2020 的paper，是京东在搜索推荐系统领域的实践经验总结，京东自2019年起就开始部署DPSR搜索推荐系统框架，总体网络结构如下： 从整体看，离线模型是一个双塔模型结构，query 和 item 分别有一个 model tower。Query 端：包括query tokens、user profile、user history events 等特征。item端：包括title tokens、brand、category、shopid 等特征。离线索引(offline
深入理解搜索引擎-排序算法
我是药老的博客
05-07 4169
​众所周知，在搜索引擎领域，无论你是用户还是内容生产者，搜索引擎的结果排序对你来说都是至关重要的。对于用户而言，一个好的排序会给你一个非常好的搜索体感，你无需查看更多结果就能找到你的答案。对于内容生产者而言，无论是大搜还是垂搜，排序结果的好坏直接影响你内容的流量和点击。调查显示，搜索引擎结果的点击主要集中在top10的结果中， 可以参考下图： 从上图可看到，第一页top10的总点击率是57%，也就是说43%的用户要么往后面翻页，要么什么也没点击。这也是为什么企业争相做SEO的原因，这也是为什么会衍生出搜索
信息检索（IR）的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC
架构和代码
07-06 5万+
在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近根据网友的博客做了一个汇总。准确率、召回率、F1信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率，概念公式:             召回率(Recall)      =  系统检索到的相关文件 /
RAG（Retrieval-Augmented Generation）召回算法是检索增强生成模型中的关键组件
最新发布
gs80140的专栏
04-15 410
RAG召回算法通过稠密检索技术实现高效信息筛选，其性能依赖于编码器质量、索引策略及检索-生成协同优化。未来趋势包括多模态检索、动态自适应索引以及更复杂的交互式检索机制，以进一步提升生成结果的相关性和准确性。
搜索引擎的两大问题（1） - 召回
喜欢打酱油的老鸟
05-09 1736
2020-05-02 17:15:38 一个完整的搜索引擎往往包含了比较多的复杂模块，每个模块相互作用、兜底组成了我们使用的搜索引擎。抽象起来，召回和相关性是搜索系统里最重要的两个功能。本文首先介绍一下召回问题。 召回是对于输入query，能够高效的获取query相关的候选doc集合。召回对于搜索引擎起着致命性的作用。因为一旦相关的doc不能够被召回，即使后面的相关性排序做好的再好，也是徒劳。尤其在doc资源不是很丰富的搜索场景下，召回更是一个比较明显的问题。 首先面临的问题是索引粒度问题..
搜索推荐系统中的召回
靖节先生的博客
05-23 4153
搜索推荐系统中的召回1. 召回概述2. 召回指标3. 召回策略3.1 基于内容匹配的召回3.2 基于协同过滤的召回 1. 召回概述 谈召回离不开搜索推荐，通过用户搜索或者系统推荐获取客户想要的内容，从而提高用户的体验，提高商品转化率。当你浏览电商网站的时候是如何得到你想要的内容，搜索或者推荐，一是输入关键字通过搜索召回+排序的方式获取你想要的内容，或者是系统基于用户画像与内容画像通过算法模型推荐召回+排序的方式获取你想要的内容。 什么是召回，召回（match）就是指从全量的信息中尽可能多的获取相关的信息，召
浅谈互联网搜索之召回
WitsMakeMen的专栏
06-06 1395
随着语义召回的发展，不仅能够解决长尾case，甚至具有代替倒排索引的能力，在一些大厂中，正不断迭代语义召回，逐步下掉倒排索引，我相信在不就得将来，强大的语义召回会成成为搜索领域的主流。具体做法为，离线经过模型对 doc 向量化，并通过最近邻建库算法（fassi、hnsw等）构建向量索引库，在线通过模型对query进行向量化，召回向量库中相似度最高的N个文档，这种方法虽然能够一定程度上解决query泛化的问题，但是会因为召回的准确率等问题引入杂质，召回后需要通过语义质量控制杂质问题。二、搜索系统召回方法。
搜索引擎是如何理解你的查询并提供精准结果的？
热门推荐
张彦峰的博客
11-04 9万+
搜索引擎是一种强大的工具，帮助你快速找到互联网上的信息。它通过使用复杂的算法，迅速检索成千上万甚至数十亿的网页，并将与你的搜索查询相关的结果呈现给你。搜索引擎背后涉及多种关键技术，它们协同工作以实现高效的信息检索和呈现。搜索引擎通常由三个核心组件构成：爬虫系统、索引系统和检索系统。这些组件协同工作，使搜索引擎能够从互联网上检索、索引和呈现相关的信息。我们可以展开快速学习一下。
深入理解搜索引擎——基于语义检索LSTM-DSSM召回模型
我是药老的博客
06-21 4181
​众所周知，BM25算法是Elasticsearch全文检索引擎默认相似度算法，但此种算法仅考虑了文本Term之间的匹配关系，并未考虑文本语义之间的信息，所以导致很多场景下，语义相关的内容无法召回。随着深度学习在NLP的广泛应用，在IR和QA(问答系统)中出现了很多深度模型将query和doc通过神经网络embedding，映射到一个稠密空间的向量表示，然后再计算其是否相关，并取得很好的效果，而本文就来介绍一种基于语义检索的召回模型LSTM-DSSM。 【DSSM】 DSSM是Deep Structur
人工智能-项目实践-搜索引擎-文本向量搜索与GPT结合：构建高效个人搜索引擎的实践与分析
02-26
在本文中，我们将深入探讨如何将人工智能应用于项目实践，特别是构建一个高效的个人搜索引擎。这个项目融合了文本向量搜索和GPT（Generative Pre-trained Transformer）技术，旨在提供更为精准和智能的搜索体验。...
搜索关键技术：倒排索引与Query召回
06-02
以视频搜索为例，讲述搜索服务的基础架构中的：倒排索引与Query召回 两项工作的详细过程。
搜索召回：向量召回
u012194696的专栏
12-21 1910
召回常用的损失函数是多分类的，相比于侧重局部比较、优化相对关系的Hinge Loss（如：Pairlist），交叉熵损失在训练和推理阶段可保持一致性，并使得模型具备全局比较能力。向量召回是一种基于向量空间模型进行信息检索的方法，核心思想是将查询Query和文档Doc转换为向量，通过计算这些向量之间的相似度来进行检索。向量召回通常采用双塔模型，为了实现特征交叉，一般采用 DCN、Attention等网络架构。
搜索广告召回技术在美团的实践
美团技术团队
07-04 1492
本文首先介绍了美团搜索广告的三个阶段：多策略关键词挖掘、分层召回体系、生成式召回；然后重点介绍了生成式关键词召回、多模态生成式向量召回、生成式相关性判断在美团的实践。最后是一些经验分享及总结，希望能对大家有所帮助或启发。
搜索引擎召回策略总结
WitsMakeMen的专栏
06-06 854
版权声明：本文为优快云博主「HxShine」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.youkuaiyun.com/qq_16949707/article/details/120882258。电商APP智能搜索第二讲——如何召回搜索结果【King James】一、搜索引擎召回策略的方法和注意事项(自己能想到的&待补充)R&S[22] | 搜索系统中的召回【机制的叉烧】淘宝搜索中基于embedding的召回。美团搜索中NER技术的探索与实践。
电商搜索：召回篇
华章IT官方博客
12-08 2458
文章作者：阿里CBU技术部内容来源：《阿里巴巴B2B电商算法实战》导读：搜索引擎已经广泛应用于电商网站，我们为什么需要搜索引擎?搜索引擎又是如何工作的呢?电商网站中存在着上亿的商品，想象...
前沿重器[52] | 聊聊搜索系统5：召回：检索、粗排、多路召回
baidu_25854831的博客
06-30 817
前沿重器栏目主要给大家分享各种大厂、顶会的论文和分享，从中抽取关键精华的部分和大家分享，和大家一起把握前沿技术。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。（算起来，专项启动已经是20年的事了！）2023年文章合集发布了！在这里：又添十万字-CS的陋室2023年文章合集来袭往期回顾前沿重器[47] | RAG开源项目Qanything源码阅读3-在线推理前沿重器[48] | 聊聊搜索系统1...
搜索召回：倒排召回
u012194696的专栏
12-21 870
倒排检索召回具有极高的检索效率，适合处理大规模文本语料。但是倒排召回仅基于词项匹配，无法捕捉深层次语义关联，另外长查询的分词可能导致稀疏性问题，降低召回效果。更多内容请点击：搜索系统算法解析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值