fangting的博客

#参考阿里fewshot论文，用于金融场景对话意图判别https://github.com/zixufang/few_shot

多老师学习：1.Learning from Multiple Teacher Networks1)不同example 输入到网络会有不同的输出，（x1,x2,x3）得到（p1,p2,p3）,(q1,q2,q3)，怎么保证||q1-q2||和||q1-q3||的相对距离（q2和q3谁取胜）和||p1-p2||和||p1-p3||的相对距离相近（p2和p3谁取胜）。2)如果是多个老师的话，因为不...

记得上半年看GLMP，当时还跟别人讨论说memory都是骗人的，但是现在心态变正常了，能抓老鼠的都是好猫。下面对于这一系列的文章进行讲解。1）LEARNING END-TO-END GOAL-ORIENTED DIALOG2）Mem2Seq: Effectively Incorporating Knowledge Bases into End-to-End Task-Oriented Di...

我想到和我现在做的task-oriented的有关系，输入是文本和关键词，输出是文本，相当于风格迁移。相当于个别词对应转换。而task-oriented里面，是输入文本(context编码还是个问题),生成多个关键词，输出文本。多出的是act space，但是输入的intent和输出的intent是一致的，space变化不大。他文章里用的模型是主要是使用了反向生成，插值法，还有GAN，...

Memory Consolidation for Contextual Spoken Language Understanding with Dialogue Logistic Inference主要是加上DLI，memory机制老早就有了而且效果也不咋地，DLI：给出前n句，判断第（n+1）句是user说的，（反例从哪里找），比较的模型大多和memory有关，具体看他怎...

Switch-based Active Deep Dyna-Q: Efficient Adaptive Planning for Task-Completion Dialogue Policy Learning？world model和policy model都是从human那里学习，为什么一个是imitation一个是supervised -> 只是起名不同？world model...

ESIM模型：借鉴https://zhuanlan.zhihu.com/p/77898069之前看过这篇文章，当时没有很大的感觉，可能因为那边博文不够和我口味，而且看文章模型似乎非常复杂，也不灵巧，但是最近发现它在很多比赛上都取得很好的效果(和数据集有很大关系），模型主体：输入编码（input encoding），（17年还没有bert）bilstm->[batch，length，...

对于paper不能掉以轻心的态度，还是要好好阅读。现在的文章各种方法都很多，一定要善于总结。A Modular Task-oriented Dialogue System Using a Neural Mixture-of-Expertsgating network：h是所有专家算出来的state和y概率分布的coXncat，经过全连接得到ulu_lul​，βl\beta^lβl是...

zhaotianc文章（1）Pretraining Methods for Dialog Context Representation Learning大致内容：bert是在句子层面提取信息，然后对话有discourse-level的特征，大致理解为前后句子的递进转折和句子平和起来表达的含义比较复杂，bert不行。 本文针对对话列举4种预训练方法，以fine-tune到下流任务。效果明显。...

（1）Jointly Optimizing Diversity and Relevance in Neural Response Generation背景:bland and generic responses.->diversify, cost of decreased relevance以前使用CVAE实现diverse，VAE里面用高斯分布，高斯分布决定了diverse和re...

（1）Domain Adaptive Dialog Generation via Meta Learning（2）Incorporating the Structure of the Belief State in End-to-End Task-Oriented Dialogue Systems（3）Flexibly-Structured Model for Task-Oriented Di...

Towards Universal Dialogue State Tracking个人感觉不是很优秀的文章，（1）2-Norm Distance，这不是常规操作吗。。？（2）它用了n-gram machine act representation,r_a^n, DST不应该在ACT的前面吗？（3）它在结尾强调 the model does not need manually-tagged...

Structured Fusion Networks for Dialog似乎跨领域确实是个问题overwhelming implicit language modelUsing reinforcement learning to fine-tune a decoder, will likely place a strong emphasis on improving the decoder...

看latent的文章有点累，看语法树换换脑子。看了两篇不够相关。一篇是多人对话判断当前语句与前面context哪一句最相关，（没细看）一篇是用于NLG,使得生成句子diverse，运用额外数据学习句子的逻辑关系，提出新数据，含标注。暂时找不太到语法树的方法，我是想语法树有hierchy的特征，可以用来表征一些东西，对话是有context和user，有belief state，哪一个可以...

Training Neural Response Selection for Task-Oriented Dialogue Systems亮点：transfer网络添加原有数据