liuyuemaicha的专栏

参考：http://blog.youkuaiyun.com/xiazdong/article/details/7950084

自己在这近三个月的深度网络学习中的一点小感悟，希望对自己的后面学习和实验能有所启发。

原文：Learning Through Dialogue Interactions 作者： JiweiLi,AlexanderH.Miller,SumitChopra,Marc’AurelioRanzato,JasonWestonAbstract一个好的对话agent是可以和用户进行交互的。在本工作中，我们探索着设计了一个模拟器并合成一个电影领域的任务集合，让learner和teacher进行问

原文：https://arxiv.org/pdf/1702.01932.pdf 原论文的主要内容翻译与总结摘要Neural network 模型已经可以进行很自然的对话交互了。但目前来看，这些模型在基于任务的对话中并没有通过吸取其他形式的真实信息或背景实体（entity-grounded）观点来增强它们的服务水平。该论文就提出来一种新颖的，完全有数据驱动的，并且基于背景知识（knowledge-g

Adversarial Learning for Neural Dialogue Generation文献的重点翻译和总结

GAN作为生成模型的一种新型训练方法，通过discriminative model来指导generative model的训练，并在真实数据中取得了很好的效果。尽管如此，当目标是一个待生成的非连续性序列时，该方法就会表现出其局限性。其中最重要的原因是在非连续序列中很难传递来自discriminative model对于generative model的gradient update。另外，discr

Dual Learning解决的问题： 带标签的训练数据少且高昂的成本，尽可能的利用无标签数据Dual Learning 思想 Dual Learning在NMT中的应用 1.算法思想 2.负例 3.正例 4.实验设置（需要先预训练） Dual Learning的扩展（可以扩展到多个有联系的模型） 自编码中Dual Learning的思想 GAN中Dual Learnin

文章一《Neural Relation Extraction with Selective Attention over Instances》 该论文中提到的Distant supervised是一种弱监督形式，作用是在Relation Extraction中可以从未标注的Knowledge Bases（KBs）语料中自动生成训练数据，定义由 (Mintz et al., 2009) 提出，dis

论文链接： https://arxiv.org/pdf/1612.01627.pdfPaper总结笔记： 论文提出了一个基于检索的多轮闲聊架构 闲聊模型一般分为生成模型和检索模型，目前关于检索模型的闲聊还停留在单轮对话中，本文提出了基于检索的多轮对话闲聊。 多轮对话不仅要考虑当前的问题，也要考虑前几轮的对话情景。多轮对话的难点主要有两点：1.如何明确上下文的关键信息（关键词，关键短语或关键

该论文提出了基于最大互信息（Maximum Mutual Information—MMI）的期望计算思想。传统的生成模型计算方式是：target = argmax（logP（T|S）），即在source给定的条件下，寻找出最大概率的target。 这样的计算方式所带来的问题是会生成一般性的，具有大概率事件的target，失去了target的多样性。 由互信息公式得： 该论文基于MMI思想，提出

小记：前些天导师让我给大家介绍下深度学习。做了几页PPT，做了个小介绍。

原文：《End-To-End Memory Networks》

1、前馈神经网络、反馈神经网络、BP网络等，他们之间的关系 前馈型神经网络： 取连续或离散变量，一般不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系；在此种神经网络中，各神经元从输入层开始，接收前一级输入，并输入到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示。常见的前馈神经网络有感知机（Perceptrons）、BP（Back Propagation）网络、RBF（

该文档是我在《Word2Vec_中的数学原理详解》基础上做的总结和一些新的描述，增加了代码与公式的对照和公式总汇（公式太多，汇总下看起来更方便），可以更加方便的加深对代码和公式理解。既然是总结，则一些很基础的知识我没有写到，如果里面的有些概念不熟悉，也可以自己查一下，网上资料还是很多的。本笔记主要是对《Word2Vec中的数学原理详解》的总结和补充，目的是加深自己的理解和认识。 1、概述 Wor

参考： 1、神经网络浅讲：从神经元到深度学习 - 推酷 2、【转】脉络清晰的BP神经网络讲解，赞 - 编程小翁 - 博客园

本篇博客翻译自http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ 系列的第一篇，并参考了网络上的部分资源.初识RNN RNNs（Recurrent Neural NetWorks）循环神经网络是比较流行的网络模型之一，在NLP的许多任务中有着出色的表现。

看到一片不错的文章，按着自己的理解翻译的，水平有限，难免会有错误，各路大牛看到后感谢指出！Attention and Augmented Recurrent Neural Networks（二）作者：CHRIS OLAH Google Brain SHAN CARTER Google Brain 原文：http://distill.pub/2016/augment

总结自《SentimentAnalysis-and-OpinionMining》第一章1.2.1情感分析的不同分析层次 根据目前的研究现状，一般可以将情感分析调查分为三个主要层次 一、文本文档层次：该层次是判断评论的整体情感态度，从整体看是积极、消极还是中立的态度。不过这一层次的分析是基于假设每篇文档都是阐述关于一个单一实体的观点；不适用于评价或比较多个复杂的实体。 二、语句级别层次：该层次的

这是RNN扩展的后两种介绍。接 Attention and Augmented Recurrent Neural Networks（一）Adaptive Computation Time（自适应计算时间）Standard RNNs do the same amount of computation each time step. This seems unintuitive. Surely, one

原文链接： http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/ 原标题《Understanding convolutional neural networks for nlp》卷积神经网络（CNN）概述及其在NLP中的应用（一）5. Convolutional Neural Ne

最近看完了一篇论文《Adaptive Computation Time for Recurrent Neural Networks》，目前正在做相关实验，先把总结的PPT贴出来分享下，后面有时间再详细总结下吧。也可参考我之前翻译的一篇博文：RNN的四种代表性扩展—Attention and Augmented Recurrent Neural Networks（二） 里面有关于“Adaptive

what is zero-shot learning zero-shot learning 是为了能够识别在测试中出现，而在训练中未遇到过的数据类别。例如识别一张猫的图片，但在训练时没有训练到猫的图片和对应猫的标签。那么我们可以通过比较这张猫的图片和我们训练过程中的那些图片相近，进而找到这些相近图片的标签，再通过这些相近标签去找到猫的标签。（个人认为zero-shot learning应该属于迁移