(二)基于文本的QA问答系统——深度检索模型概述

本文探讨了深度检索模型在语境对称和非对称检索中的应用。语境检索利用上下文信息提高搜索准确性。对称检索关注query与doc的结构和语义相似性,而非对称检索则处理结构和语义差异大的情况。预训练语言模型因其上下文敏感性和大规模训练的优势,被用来提升检索效果。语境对称检索用于计算query间的相关性,辅助交互系统判断检索任务切换;而语境非对称检索则用于重排序检索结果,增强上下文相关性。

深度检索模型

概述

该部分用于基于上下文信息实现语境对称检索和语境非对称检索。

名词解释

语境检索semantic search指的是结合上下文语境信息的检索。

关于对称检索和非对称检索在文章SGPT: GPT Sentence Embeddings for Semantic Search中有如下解释:
在这里插入图片描述

简而言之对称检索指的是query与doc的结构和语义相似,找到与query最相关的若干doc;

非对称检索指的是query与doc结构与语义差异较大,找到与query最相关的若干doc。

动机

预训练语言模型可以更好的理解和利用语义信息,与传统的词嵌入方法不同,预训练模型是contextual(上下文敏感、全局的)的,并且基于大规模预料训练的模型可以更好的总结语言习惯。

之所以使用深度学习的方法进行结果检索是因为我们希望进一步使用问题query 的上下文信息,从而达到更理想的检索效果。

语境对称检索

该人物的目的是实现query与前序query相关度的计算,从而辅助交互系统判断是否开启一个新的检索任务。

语境非对称检索

该部分用于计算上下文信息与文段的相关度,实现基于上下文对普通检索结果的重排序。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值