
对话系统
lwgkzl
海风和着歌声,星空伴着代码
展开
-
[NLU] DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation
总述:最大的特色就是将GCN用在了对话情感识别上,这里的coversation可能是不止两个人的。然后故事写得很好,inter-dependency和intra-dependency还有self-dependency唬的我一愣一愣的。主要模型:inter-depencency intra-dependency所谓的inter-dependency其实就是说某一个speak对其他...原创 2019-11-19 00:20:43 · 2966 阅读 · 3 评论 -
[NLG] A Context-aware Natural Language Generator for Dialogue Systems
总述:16年的文章,感觉方法在现在看来已经很easy了,可见NLP领域的发展之迅速。文章主要讨论了如何将context 引入到当前生成的句子中,baseline和seq2seq attention做对比,作者采用了两种方式,一种将context直接简单的接到DA的前面,DA(dialog action就是一些键值对)。第二种就是将context单独encoder成一个向量,然后和DAenc...原创 2019-11-18 00:49:23 · 646 阅读 · 0 评论 -
[NLU] Enhancing Dialogue Symptom Diagnosis with Global Attention and Symptom Graph
总述:通过构造一种global attention的机制以及构造了symptom的图,提高了在医疗对话中,对于每一句话出现symptom的预测精度。以及提高了symptom inference(对于一种症状,病人是否有)的精度贡献:1.有一个开源的中文医疗对话数据集,大约两千多个对话,标注了BIO,做了symptom normalization。有四种病,大约162中症状2.结合了...原创 2019-11-16 17:21:31 · 781 阅读 · 3 评论 -
[NLU] Extracting Symptoms and their Status from Clinical Conversations
总述:像是陈年玉米,又长又难嚼还没啥营养。大抵就是他收集了3K诊所问诊的录音,然后在每一段录音的基础上识别出问诊过程中涉及到了哪些症状,以及推断这些症状是否出现在病人身上。但是其实模型very simple,就是一个lstm+CRF做tag的任务QAQ,不过实验室做了挺多的,类似于transformer的encoder和lstm的encoder,还有加权和不加权的eval metric, ...原创 2019-11-14 11:44:57 · 452 阅读 · 0 评论 -
[NLG]A Working Memory Model for Task-oriented Dialog Response Generation
总述:memNN常用于在对话中引入KB的知识,然而之前的工作大多数把dialogue history和KB的memory混在一起,作者借鉴了心理学的研究。有个work memory(类似于电脑内存的感觉)可以和两个记忆做交互,一个知识记忆(semantic memory),一个历史记忆(episodic memory).然后作者就设计了一个模型,将对话历史作为历史记忆,将KB结构化知识作为知识...原创 2019-11-11 12:41:58 · 689 阅读 · 1 评论 -
[NLU] Improving Multi-turn Dialogue Modelling with Utterance ReWriter
总述: 主要是有一个utterance rewriter的机制,将一句话里面的省略和共指关系给找出来,然后形成一句新的话语,这样显示的声明一句话的省略部分和共指词可以提高对话系统的效果。具体来说对于task-oriented对话系统,提高了intention Precision(每一句话的意图检测),对于chitchat,提高了CPS:coversation-turns-persess...原创 2019-11-09 13:15:54 · 2104 阅读 · 0 评论 -
[NLG] Comparison of Diverse Decoding Methods from Conditional Language
总述:总体上是一篇survey,不过后面在基础模型上加了oversampling的改进,然后还对原来的clustering post decoding做了改进。重点在于介绍在conditional language model (就是通过前文预测下一个单词的模型,如GPT)下如何使句子的生成具有diverse(多样性)主要模型:1.首先介绍了贪心编码(arg-max),每一次根据当前的...原创 2019-11-04 12:17:49 · 328 阅读 · 0 评论 -
[NLG] Domain Adaptive Dialog Generation via Meta Learning
总述:这篇文章貌似就是把end2end模式的dialogue system套了一层maml的更新方式,然后在few-shot领域上的效果比之前赵天成的ZSDG效果要好。感觉思路很清新也很简单,不知道是不是我没看懂QAQ总之要看懂这篇论文,首先得看下Sequicity和 MaMl模型: 首先介绍一下maml的主要思想:maml就是说有多个domain的数据a1,a2,a3...原创 2019-10-24 01:54:48 · 582 阅读 · 0 评论 -
[DM]Sequicity: Simplifying Task-oriented Dialogue Systems with Single Sequence-to-Sequence Architect
总述:这篇文章的主要特色在于生成dialogue believes,也就是作者所谓的belief span,在对话管理模块中,一般都需要首先对一句话的belief进行分类(就是一些slot-value对,一般来说分为两种类型,一种informable类型的,要告诉用户某一些具体信息,一种requestable类型的,需要记住用户需要什么。对于某一个informable类型比如说餐馆风味,有很多...原创 2019-10-20 01:02:04 · 818 阅读 · 0 评论 -
[NLG]Few-Shot Dialogue Generation Without Annotated Data: A Transfer Learning Approach
总述: 我觉得这篇论文的主要亮点就是不要标注数据。之前赵天成的zero-shot虽然很惊艳,但是迫于每一句话都需要标注dialogu action,所以应用性不强。这篇论文就是结合了赵天成之前的两篇工作,第一个zero-shot,第二个laed(用于在大规模数据中学习找到对话潜在的latent action)。然后作者就认为,在大规模无标签对话中用laed学习可以学到隐式的dialog ac...原创 2019-10-19 16:10:27 · 541 阅读 · 0 评论 -
[NLG] Pretraining for Conditional Generation with Pseudo Self Attention
摘要: 这篇文章的主要idea就是如何用现在已经有的语言模型,稍微引导一下生成基于某些条件的话语。如给个情感,生成一个带情感的句子。作者在GPT2的结构上稍微修改了self-attention机制,命名为Pseudo-Self,在decoder的时候引入外部控制,并且这样做能够尽量小的影响GPT2之前的训练参数,达到的很好的效果。模型:作者主要对比了前面两种工作,关于这两种工作...原创 2019-10-17 01:19:42 · 574 阅读 · 0 评论 -
[NLG]Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generat
看这篇paper看的自闭了。作者用了太多操作了。。。摘要: 作者的意思应该是要在一些无监督的语句中学会一些可解释的离散的laent action,然后用这些laent action指导对话的生成。什么叫可解释呢,我觉得这篇论文的意思就是,这个latent(意图,动作,相当于slot-value对)和这一句对话有直接的关系。然后作者就用了两个新的模型,实际上就是魔改了VAE(看的我脑阔痛)...原创 2019-10-15 01:51:58 · 490 阅读 · 1 评论 -
[NLG] Zero-Shot Dialog Generation with Cross-Domain Latent Actions
摘要: 简单来说,就是实现了对话生成的zero shot(零次学习)。首先在一些source domain当中学习一些domain的基本描述,希望学到的这些基本描述能够用于target domain的对话生成,其中source domain的领域和target domain完全不一样。但是属性是共同的。主要工作: 1.提出来一种新的抽取domain 属性和描述的方法:seed...原创 2019-10-13 02:00:05 · 665 阅读 · 0 评论 -
[NLG]GECOR: An End-to-End Generative Ellipsis and Co-reference Resolution Model for Task-Oriented Di
摘要: 之前还没有人做过multi-turn dialogue的有关省略和共指词汇的研究,只有短文本恢复省略词汇的研究。本文作者通过构造一个数据集(数据集中将dialogue的省略词和共指词都标记了出来),然后结合attention和copynet提出了一个end2end的multi-task学习框架。学习在结合上文的情况下,如何生成省略词和共指词。并且EM,BLEU,F1的效果不错。主...原创 2019-10-10 15:26:55 · 857 阅读 · 0 评论 -
[NLG]Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study?
摘要: 为了发现对话历史是否真的被有效的利用了,本文介绍了10种干扰来评测对话历史是否真正被利用。发现transformer-seq2seq 和rnn seq2seq并没有很好地利用这些信息主要工作: 首先有一个前提:如果模型对于对话历史的改变不敏感的话,那么他基本上没有利用多少对话历史。 在之前的工作中已经发现:1.lstm的作用范围只被周围的大约150个词所...原创 2019-10-09 01:21:46 · 484 阅读 · 0 评论