Sequential Match Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Ch

本文提出了一种基于检索的多轮闲聊架构——SMN,该模型通过精细化匹配及GRU堆叠来解决多轮对话中上下文信息丢失的问题。具体流程包括关键词抽取、多层次匹配、以及最终匹配得分计算。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

论文链接: https://arxiv.org/pdf/1612.01627.pdf

Paper总结笔记:
这里写图片描述
论文提出了一个基于检索的多轮闲聊架构
闲聊模型一般分为生成模型和检索模型,目前关于检索模型的闲聊还停留在单轮对话中,本文提出了基于检索的多轮对话闲聊。

多轮对话不仅要考虑当前的问题,也要考虑前几轮的对话情景。多轮对话的难点主要有两点:1.如何明确上下文的关键信息(关键词,关键短语或关键句)。 2.在上下文中如何模拟多轮对话间的关系。
现有检索模型的缺陷:在上下文中容易丢失重要信息,因为它们首先将整个上下文表示为向量,然后将该上下文向量与响应sentence向量进行匹配。

为了避免信息丢失,SMN在开始时将候选回复sentence与上下文中的每条语句进行匹配,并将匹配的每对中重要信息编码入匹配向量(注:这是CNN阶段,解决上上述难点1);然后按照话语的时间顺序,对匹配向量进行堆积,以对其关系进行建模(注:即构建GRU2,解决上述难点2)。 最后的匹配阶段就是计算这些堆积的匹配向量。

具体流程说明:
1、首先通过tf-idf抽取出前n-1轮的关键词,通过关键词检索出候选responses
2、将每条response和 utterance的每条 sentence做匹配:通过模型GRU1分别构造word2word和sentence2sentence的向量矩阵。这两个矩阵会在word级别和segment级别获取重要的匹配信息。
3、获取到的两个矩阵通过连续的convolution和pooling操作得到一个matching vector。通过这种方式,可以将上下文进行多个粒度级别的supervision识别并获取重要信息,再通过最小损失matching计算。
4、获取到的matching vector再通过GRU2计算得到context和response的分数。

注:sentence_level计算(copy):
MH233 2017年5月15日
这里计算句子之间的相似度,先计算了两句话每个word之间的相似度(类似于cosine similarity的概念),再计算句子之间的相似度,这里采取的策略应该是叫Bilinear吧(?)还有一种叫做Tensor的相似度计算方法(https://arxiv.org/abs/1511.08277 ),一直解释不清楚两个指标的物理含义。。 另,在得到相似度矩阵之后,使用了CNN结构进行特征提取,这样和直接进行k-max pooling相比有什么不同和优势?
wumark 2017年5月15日
是的,这个是bilinear的相似度计算。bilinear的物理含义你可以理解为,x和y不在一个空间,我们首先需要两个空间的变换矩阵W,让x变到y的空间,之后再在同一个空间做dot。tensor我认为是bilinear的一个扩展,bilinear只会给x,y计算出一个实数值,而tensor可以给x,y计算出一个相似度向量。tensor需要更多的参数,更大的计算量,往往tensor会比bilinear取得更好一些的效果。在这个任务下,CNN比单做k-max pooling是要好的,我做过这个实验。可能是因为CNN可以考虑到相邻词的信息吧。k-max pooling在输入是GRU产出hidden state乘出来的相似度矩阵时候经常会有一些不太好的结果,例如 美丽 的,如果你求k-max很有可能美丽和的都取出来了,因为“的”完全承袭了美丽的hidden state。不过我没有尝试过在convolution之后用k-max pooling,我觉得可能会让效果更好。
mev 2017年5月16日
sequence的相似度计算使用bilinear会比cosine相似度好吗,有没有相关的工作介绍呢,不知道词的相似度使用bilinear计算的话效果会不会好一点
wumark 2017年5月16日
https://arxiv.org/pdf/1611.01747.pdf A COMPARE-AGGREGATE MODEL FOR MATCHING TEXT SEQUENCES 大家都是在不同数据集上进行测试,感觉好像没有一个特别统一的标准。这篇文章的工作就比较扎实,比较了不同相似度算法在很多数据集上的好坏。
mev 2017年5月16日
非常感谢
MH233 2017年5月15日
谢谢,解释的很深刻!完美的解决了我的疑惑。

<think>好的,我现在要处理用户关于查找和阅读“Multi-scale feature selection network for lightweight image super-resolution”这篇论文的请求。首先,我需要确认用户提到的论文是否存在,因为用户提供的引用信息里提到了“Multi-scale Attention Network for Single Image Super-Resolution(CVPR 2024)”,而用户询问的是另一篇名称相似的论文。这可能存在混淆或者拼写错误。 首先,我应该检查论文标题的准确性。用户提到的论文标题是“Multi-scale feature selection network for lightweight image super-resolution”,而引用[1]中的是“Multi-scale Attention Network...”。这可能意味着用户记错了标题,或者确实存在另一篇相关论文。我需要考虑这两种可能性。 接下来,我需要考虑如何帮助用户找到这篇论文。通常,查找论文的途径包括学术数据库如Google Scholar、IEEE Xplore、arXiv、CVF Open Access(CVPR的会议论文通常在这里)等。如果论文是CVPR 2024的,可能已经发布在CVF网站上。但需要确认论文是否确实存在,或者是否名称有出入。 如果用户记错了标题,可能需要根据关键词进行搜索。例如,使用“multi-scale”、“feature selection”、“lightweight”、“super-resolution”这些关键词组合搜索,看看是否有相关论文。如果存在,可能需要引导用户到相应的平台下载。 另外,用户可能对实现方法感兴趣。如果论文已经公开,通常在GitHub上会有代码实现,或者作者的个人页面。如果找不到,可能需要建议用户联系作者,或者查找相关的工作,因为轻量级超分辨率网络可能有类似的方法。 同时,我需要确保回答符合用户的要求,即提供PDF下载或实现方法的信息。如果无法直接找到,可能需要给出替代方案,比如建议使用其他多尺度方法的论文,或者说明如何构建这样的网络结构。 最后,我需要检查是否有相关的引用或资源可以提供给用户,比如现有的轻量级超分辨率模型(如ESRGAN的变种、MobileSR等),或者多尺度特征选择的相关技术,帮助用户即使找不到原论文也能获得有用的信息。</think>关于您查询的论文《Multi-scale feature selection network for lightweight image super-resolution》,经检索发现该标题与已知的CVPR 2024论文《Multi-scale Attention Network for Single Image Super-Resolution》存在命名差异[^1]。以下是分步骤解决方案: 1. **论文验证** - 建议在CVPR官网(cvpr.thecvf.com)的accepted papers列表按关键词"multi-scale"、"lightweight"交叉检索 - 通过Google Scholar搜索标题关键词组合,注意2022-2024年间的发表记录 2. **替代获取方案** $$ \text{arXiv预印本平台} \rightarrow \text{IEEE Xplore数据库} \rightarrow \text{作者个人主页} $$ 推荐尝试搜索组合式关键词:"multi-scale feature selection" + "lightweight SR" 3. **实现方法解析** 基于引用文献[1]的核心技术路线: ```python # 多尺度特征选择典型结构示例 class FeatureSelector(nn.Module): def __init__(self, channels): super().__init__() self.attention = nn.Sequential( nn.Conv2d(channels, channels//4, 1), nn.ReLU(), nn.Conv2d(channels//4, channels, 1), nn.Sigmoid() ) def forward(self, x): return x * self.attention(x) # 特征通道加权选择 ``` 4. **轻量化设计建议** - 深度可分离卷积替代常规卷积 - 通道shuffle增强特征交互 - 动态通道剪枝机制
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值