【论文阅读】A Neural Conversational Model

最新推荐文章于 2024-03-20 17:39:34 发布
最新推荐文章于 2024-03-20 17:39:34 发布
阅读量2k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： nlp 相关论文 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hackerzer/article/details/74857522

这是google放在arvix上的一篇论文，写得是非常轻松随意，模型也很简洁，结果自称Modest。

对话只做到了一问一答，没有做到多轮，采用了两层LSTM进行建模，4096 cells大小，100K words， 到输出层的时候将4096 cells投影到2048 units。(OpenSubtitles dataset 上的配置，在另外一个小数据集上，cell的大小会变得小一点)

模型：
这里写图片描述

在推理时两种处理方案：1）每一步都做贪心 2） beam search
两个还比较大的对话数据集：
1. IT Helpdesk Troubleshooting dataset
30M tokens, and 3M tokens as test
2. OpenSubtitles dataset
Our training and validation split has 62Msentences (923M
tokens) as training examples, and the validation set has
26M sentences (395M tokens

Result：

datasetrnnppl
OpenSubtitles1728
IT Helpdesk Troubleshooting dataset818

一个有意思的sample：
这里写图片描述

《论文阅读》Think Twice: A Human-like Two-stage Conversational Agent for Emotional Response Generation
MyHeartWillGoOn
01-26 945
对于类人对话系统，当前的情感对话方法使用统一的神经网络联合建模情感和语义。由于情感和语义之间的相互制约，该策略倾向于生成安全回复且需要大规模情感注释对话语料库。受人类智能对话中“三思而后行”行为的启发，我们提出了一种用于生成情感对话的两阶段对话代理。首先，在没有情感注释对话语料库的情况下训练的对话模型生成符合上下文语义的原型响应。其次，第一阶段原型由具有共情假设的可控情绪精炼器修改。
论文笔记：Retrieval-Augmented Generation forAI-Generated Content: A Survey
最新发布
qq_40206371的博客
03-27 2462
北大202402的RAG综述。
论文阅读：《A Neural Conversational Model》
04-12 2640
会话建模是自然语言理解和机器智能中的一项重要任务。虽然以前的方法存在，但它们往往局限于特定的领域（例如预订机票），需要手工制作的规则。在本文中，我们提出了一个简单的方法，这个任务使用最近提出的序列到序列框架。我们的模型预测了交谈的谈话中前面的句子或句子的一句话。我们的模型的优点是可以进行端到端的训练，因此需要少得多手工制作的规则。我们发现，给出了大量的会话训练数据集，这种简单的模型可以生成简单的会话。我们的初步结果表明，尽管优化错误的目标函数，该模型能够很好地进行逆向谈判。
论文笔记A Neural Conversational Model
hellow0r1d的博客
08-03 326
Abstract 1.Previous approaches often restrict to specific domains and require handcrafted rules. 2.Use the Sequence to Sequence frame work. 3.The strength of the model that it can be trained end-to-end and thus requires much fewer hand-crafted rules. 4. Th
A Neural Conversational Model
weixin_34186128的博客
08-01 217
前面介绍过几篇seq2seq在机器翻译、文本蕴藏、自动文摘领域的应用，模型上每篇稍有不同，但基本的思想是接近的。本文继续分享一篇seq2seq在对话生成任务上的应用，是一篇工业界的论文，因此并没有什么理论创新。之所以选这一篇，是因为对话生成是一个非常热门的研究领域和应用领域，也可能是一个非常热门的创业领域，另外一个原因是为了充实seq2seq在各个领...
A Neural Conversational Model论文阅读
qq_27011361的博客
03-19 249
《A Neural Conversational Model》 作者：来自Google Brain，毕业于UC Berkeley的OriolVinyals博士 工业界论文 对比cleverbot(第二代基于检索的聊天机器人)，部分回答更智能。 如何客观地评价生成的效果？有一些问题没有标准答案来说，自动评价 VS 用户评价。 A Neural Conversational Model是最早将se...
A Neural Conversational Model原文
06-22
这篇论文提出了一种简单的方法，利用了近期提出的序列到序列框架来解决这个问题。我们的模型通过预测对话中的下一句来实现对话，其优势在于可以端到端地训练，因此减少了对人工规则的依赖。 该模型的核心是，给定...
A Survey on Conversational Recommender Systems（2021）阅读笔记
tan_1999的博客
06-14 856
1.CRS架构 1.1Dialogue Management System： 这是一个核心环节。 由于CRS实现的是多轮对话，所以可以说这一任务显示或者隐式地实现了某种形式的对话状态管理 ①输入：It receives the processed inputs, e.g., the recognized intents,entities and preferences ②操作：correspondingly updates the dialogue state and user model ③输出：us
neural topic model
suuunnnyoy的博客
06-11 1585
论文参考：A Novel Neural Topic Model and Its Supervised Extension 主要思想： 将神经网络和topicmodel结合，将LDA中对于狄利克雷分布的参数估计转换到神经网络中对于隐藏层参数的估计，设定损失函数，通过迭代学习得到最优参数，并且这也对加入标签数据更加友好。 代码：github上有实现，但是参数更新的过程中出现的问题导致收敛到0，并且作者...
(27)[ICML15] A Neural Conversational Model
gdtop的个人笔记
03-24 762
计划完成深度学习入门的126篇论文第二十七篇，Google的Oriol及Quoc V.Le领导研究的chatbox S2S。 ABSTRACT&INTRODUCTION 摘要 会话建模是自然语言理解和机器智能研究中的一个重要课题。尽管存在以前的方法，但它们通常限于特定的域(例如，预订机票)，并且需要手工制定规则。在本文中，我们提出了一个简单的方法来完成这一任务，它使用了最近提出的序列...
【翻译】A Neural Conversational Model
weixin_45454859的博客
03-20 904
翻译
基于深度学习的对话系统---论文简介篇
pnnngchg的博客
10-17 1507
基于深度学习的对话系统—论文简介篇 这篇文章简要介绍几篇seq2seq应用到对话系统的论文，借鉴大佬的博客。补充一些自己的东西，把自己的思路理清。 主要是这几篇论文： 1.Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation 2.Sequence to Sequen...
【NLP论文阅读】—— A Neural Conversation Model
qq_62525850的博客
10-31 172
同时根据初步的结果显示，该模型尽管优化了一个错误的目标函数也能够对话的不错；此外，该模型既能从已有的训练集中提取信息同时也能从嘈杂的电影字幕等数据集提取信息，在以往的对话模型中，由于提问与回答之间的映射复杂，使得语言模型拘泥于狭窄的域之间，同时也要进行大量的特征工程。该模型帮助解决了这些问题。本文提出的模型是基于seq2seq，能够进行end2end的训练，因此相较于以往的研究只需要更少的handcraft rules。
阅读《Keyword-Guided Neural Conversational Model》
qq_41496177的博客
03-11 530
《Keyword-Guided Neural Conversational Model》关键词引导的神经会话模型，AAAI-2021 https://arxiv.org/abs/2012.08383 摘要文章基本思路： 这篇文章研究的是将会话目标goals/关键词keywords加给开放域会话系统，其中要求能在对话中顺利快速地将会话引导到目标关键字。在实际场景中可应用于推荐和心理辅导等。 解决这个问题主流方法： 训练下一回合中关键词分类器next-turn keyword classifier； 训练关键
AAAI 2021 | 关键词指导的神经对话模型
Paper weekly
05-11 365
©PaperWeekly 原创 ·作者｜金金单位｜阿里巴巴研究实习生研究方向｜推荐系统论文标题：Keyword-Guided Neural Conversational Model论文来...
神经网络语言模型 -- Neural Network Language Model
fengzhou_的博客
05-04 3213
神经网络语言模型(Neural Network Language Model) 模型介绍 2003年，Bengio首次提出Neural Network Language Model(NNLM), 开创了神经网络运用在语言模型的先河，论文 《A Neural Probabilistic Language Model》 上一章提到传统的统计语言模型的缺点，在高维的情况下，由于N元组的稀疏问题，传统的语...
图神经网络模型 The Graph Neural Network Model
热门推荐
明远
01-12 3万+
Abstract 数据包含许多潜在关系可以表示为图，这些数据存在于科学和工程的众多领域，比如计算机视觉、分子化学、分子生物、模式识别以及数据挖掘。本文提出了一种新型的神经网络模型，称为图神经网络(GNN)模型，对现有的神经网络模型进行了拓展，适用于处理可以表示为图的数据。GNN模型通过一个函数τ(G,n)∈Rm\tau(G,n) \in \mathbb{R}^mτ(G,n)∈Rm将图GGG和其中的...
Time series forecasting using a hybrid ARIMA and neural network model. 这篇论文的更多信息
02-28
这篇论文的标题是"Time series forecasting using a hybrid ARIMA and neural network model"，也就是使用混合ARIMA和神经网络模型进行时间序列预测。作者可能是在探索如何提高时间序列预测的准确性和稳定性，因此...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值