深度学习（BOT方向） 番外1 Seq2Seq的变种VHRED MrRNN

最新推荐文章于 2021-11-16 18:26:31 发布
原创 最新推荐文章于 2021-11-16 18:26:31 发布 · 3.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #seq2seq #vhred #mrrnn

本文介绍了Seq2Seq模型在聊天对话中的应用及其改进，包括HRED、VHRED和MrRNN。HRED采用两层RNN结构提高上下文表示能力；VHRED引入随机隐变量，减少无意义回答的生成；MrRNN利用多分辨率序列处理，提高回答质量。实验表明，MrRNN在Ubuntu Dialogue Corpus上的表现最佳。

系列目录：
要不，和机器聊聊？– 小谈Bot系统
Seq2Seq Chatbot 聊天机器人：基于Torch的一个Demo搭建 手札
深度学习（BOT方向） 学习笔记（1） Sequence2Sequence 学习
深度学习（BOT方向） 学习笔记（2） RNN Encoder-Decoder 及 LSTM 学习
深度学习（BOT方向） 番外1 Seq2Seq的变种VHRED MrRNN

本文仅仅是番外，可以看做Paper的个人阅读笔记

前言

之前我写了一些关于Seq2Seq模型的基本内容，Seq2Seq模型可以说在诸多领域都取得了喜人的成绩，比如说在聊天对话模型上，使用Seq2Seq的模型，可以让我们直接进行End2End的训练，也就是说我们只需要给定足够的语料，Seq2Seq模型就可以从这些语料当中自己学习。当然Seq2Seq模型，依然存在诸多的不足，比如说我们一直说到的长句记忆问题，还有容易生成无意义的回答等问题，针对这两个问题，已经有不少学者在尝试解决了，今天就分享一下关于这方面进展的内容。

Seq2Seq 现况

近来，关于基于Sequence2Sequence的对话模型研究成为了一个热点。这一类型的模型通常使用一个神经网络去做对话的表示和生成，他们一般不需要特定的领域知识或者人工过多的规则干预，就可以直接从大量

最低0.47元/天 解锁文章
HRED+VHRED+AWI模型介绍
呜呜哈的博客
02-02 6806
这次会介绍三篇文章，因为原理比较相似，都是采用分层架构来解决多轮对话问题，三篇论文如下所示： Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models(HRED) A Hierarchical Latent Variable Encoder-Decoder Model for
seq2seq学习笔记
热门推荐
大学之道，在明明德
12-20 7万+
@author: huangyongye1. RNN基础对于RNN，我看到讲得最通俗易懂的应该是Andrej发的博客： The Unreasonable Effectiveness of Recurrent Neural Networks这里有它的中文翻译版本： 递归神经网络不可思议的有效性如果想了解 LSTM 的原理，可以参考这篇文章：（译）理解 LSTM 网络 （Understanding
HRED(CIKM)
qq_43390809的博客
09-12 1213
Query-Level Encoding 对于查询QmQ_mQm​={wwwm_mm​,,,1_11​,…,wwwm_mm​,,,N_NN​m_mm​} hhhm_mm​,,,0_00​=0(初始0向量) Session-Level Encoding 一个session中得查询集合q1q_1q1​,…,qMq_MqM​ sss0_00​=0(初始0向量) Next-Query Decoding 根据先前得查询预测下一个查询： 解码RNN 每一个当前隐藏状态用于计算下一个词出现得概率： ooo..
回复生成：先生成关键词，再生成回复
zhucuankuan2669的博客
05-16 1577
2.基于关键词的回复生成 2.1 Seq2BF（sequence to backward and forward sequences）模型 Mou等提出了一种基于关键词的分阶段生成回复的Seq2BF模型（Mou et al., 2016）。他们将回复生成过程分成了两个阶段，首先根据用户消息在词表中选取和消息具有最大互信息的词作为关键词，并认为该关键词应该作为回复的一部分显式出现在...
[dialog system] 阅读笔记 - 2016__VHRED
haofengrushi的博客
12-22 1215
Ref A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues,Iulian Vlad Serban, Alessandro Sordoni, Ryan Lowe, Laurent Charlin, Joelle Pineau, Aaron Courville, Yoshua Bengio,20
完全数据驱动的对话模型和社交机器人
weixin_43075107的博客
06-19 967
研究人员最近开始探索完全数据驱动和端到端（E2E）的会话响应生成方法，例如，在序列到序列（seq2seq）框架内（Hochreiter和Schmidhuber，1997; Sutskever等， 2014）。这些模型完全根据数据进行培训，无需借助任何专业知识，这意味着它们不依赖于第4章中提到的对话系统的四个传统组件。这种端到端模型在社交机器人（chitchat）中特别成功。场景，因为社交机器人很少...
精选资源
Chatbot_RNN_Seq2Seq
05-01
Chatbot_RNN_Seq2Seq 是一个基于Python实现的聊天机器人项目，它利用了序列到序列（Seq2Seq）模型和递归神经网络（RNN）技术。在深入探讨这个项目之前，我们先来理解一下相关的核心概念。 **序列到序列模型（Seq2...
TensorFlow Seq2Seq聊天机器人：无法维护的项目现状
从文件信息中的标签“TensorflowPython”可以看出，TensorFlow与Python的结合是构建Seq2Seq聊天机器人或其他深度学习模型的常用技术栈。 ### 知识点五：文件名解释 从【压缩包子文件的文件名称列表】中得到的“tf_...
基于RNN的Seq2Seq-Attention模型在Matlab中的实现与应用
在给定的文件信息中，我们可以看到有关于实现循环神经网络（RNN）、长短期记忆网络（LSTM）以及门控循环单元（GRU）的序列到序列（seq2seq）模型以及增加注意力机制（attention）的详细说明。接下来，我将根据标题、...
智能聊天机器人的技术综述
Chatopera
09-20 9035
本文转载，原文地址。 在转载过程中，资源和开放数据有更新，不代表原作者观点。 目录摘要研究背景国内外研究现状对比工程要求及分类实现需求工程分类常见技术模型Encoder-decoder加解密模型Hierarchiacal Recurrent Encoder-Decoder分级卷积加解密模型Bidirectional HRED双向分级卷积加解密模型Word embedding词嵌入Attention注意力机制模型评估方法公开资源模型框架Dialogflow腾讯智能对话平台 TBPChatoperaLangua
闲聊式对话系统
hwang4_12的博客
11-13 809
chitbot 直接使用数据训练一个端对端模型 1、lstm模型 2、HRED 模型 用来处理端对端模型里面的多轮对话，可以将context内容包括进去，然后也将utterance进行表示 3、attention 模型  pointer network  chanllenges: a、回复单一的问题       最大相互信息熵损失函数、对抗网络、引入变分结构（VHRED模型）、利用检索...
[dialog system] 阅读笔记 - 2016--HRED
haofengrushi的博客
12-21 2006
首选吐槽一下csdn, 博客title的长度竟然有限制，一篇论文题目都放不下。试了下简书， 完全无障碍。Ref Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models,Iulian V. Serban, Alessandro Sordoni, Yoshua Bengio, Aar
A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues论文笔记
lrt366的博客
11-13 1090
Abstract 序列数据通常具有子序列之间具有复杂依赖关系的层次结构, 例如在对话中的话语之间找到的。为了在生成框架中对这些依赖关系进行建模, 我们提出了一种基于神经网络的生成体系结构, 该体系结构具有跨越可变时间步长数的随机潜在变量。将该模型应用于对话响应生成任务, 并与其他最近的神经网络架构进行了比较。我们通过人类评价研究来评价模型的性能。实验表明, 我们的模型改进了最近提出的模型, 潜在...
一文详解什么是RNN（循环神经网络）
Machine Learning with Tutors
04-25 6万+
如图所示，你会发现每个cell都会有一个损失，我们已经定义好了损失函数，接下来就是熟悉的一步了，那就是根据损失函数利用SGD来求解最优参数，在CNN中使用反向传播BP算法来求解最优参数，但在RNN就要用到BPTT，它和BP算法的本质区别，也是CNN和RNN的本质区别：CNN没有记忆功能，它的输出仅依赖与输入，但RNN有记忆功能，它的输出不仅依赖与当前输入，还依赖与当前的记忆。在图像处理中，目前做的最好的是CNN，而自然语言处理中，表现比较好的是RNN，因此，我们能否把他们结合起来，一起用呢？
A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues
ryanloucc的博客
11-23 1916
关键词VHRED来源arXiv 2016.05.19问题文中认为对话都会包含两个层次的结构，一个是 utterance，由语言的局部统计信息来表征其含义，另外一个是不同方面的不确定性，比如 topic、speaker goals、speaker style。本文认为，RNNLM、HRED 这样的语言模型不能生成高质量的原因是在于它们在生成过程中施加了一个强限制：只对源端的变化建模（作为输出分布的条件
《 Recent Advances in Deep Learning-based Dialogue Systems 》：Neural Models in Dialogue Systems
北风吹过的秋
05-27 2461
关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】 文章链接：https://mp.weixin.qq.com/s/vsEH5wj9Y5dShnH42hCX_Q 前言 本文将以2021年南洋理工大学发表的论文《Recent Advances in Deep Learning-based Dialogue Systems》为基础，介绍「深度学习对话系统」综述系列，共分七篇，本文是第二篇。本文较长，建议读者直接阅读感兴趣的部分。 开篇链接：2021深度学习对话系统大综述 [
T2VLAD: Global-Local Sequence Alignment for Text-Video Retrieval
missgrass的博客
11-16 2128
T2VLAD:文本-视频检索的全局-局部序列比对摘要 摘要
对话生成模型中的条件变分自编码器(CVAE)
bonjourdeutsch的博客
02-08 2798
废话不多说直接上模型： 这是一个非常经典的对话生成模型，叫做HRED(Hierarchical RNN Enconder-Decoder)。思路很简单，就是用一个RNN来建模前j−1j-1j−1句话，再用一个RNN来建模第jjj句话的k−1k-1k−1个词，然后再用一个RNN来解码第jjj句话的第kkk个词。 HRED模型的训练：给定一个词的上文，最大化这个词出现的对数似然（极大似然估计） 即：argmax(logpθ(wj,k∣w1,w2,...,wj−1,wj,1,wj,2,...,wj,k))arg
VLAD特征(vector of locally aggregated descriptors)
July's Pensieve
07-25 2万+
《Aggregating local descriptors into a compact image representation》论文笔记 这篇论文中提出了一种新的图片表示方法，也就是VLAD特征，并把它用于大规模图片检索中，得到了很好的实验结果。 目前，BOF在图片检索和分类中应用广泛，首先是因为BOF是基于比较powerful的local特征(如SIFT)得来的，所以表达能力很强；其次是
深度学习实践：用seq2seq模型编写对联项目
资源摘要信息:"本资源主要介绍了如何利用深度学习技术中的seq2seq模型来实现对联创作的项目实践。对联，又称楹联或对子，是中国文学中的一种独特形式，通常由上联和下联构成，要求对仗工整、意境相近。在人工智能...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值