WUTab的博客

首先说一句，对于理解RNN这个概念，上策是先从数学角度理解，然后再画图理解。在这个前提下，一切上来就放图的书、论文、教程都是耍流氓。 循环神经网络是一种神经网络，那数学上神经网络是什么？是函数。普通神经网络可以抽象成输入层，隐层，输出层。隐层不管内部有几层，总体都可以抽象成“一个”隐层。隐层是一个函数，以输入层的数据作为输入，通过计算得到输出。输出层是一个函数，以隐层的输出作为输入，通过计算得到最

4 对数线性语言模型 本节讨论另一种语言模型：对数线性语言模型。它的计算方法跟上面提到的基于计数的语言模型很不同。 4.1 模型公式化 对数线性语言模型也是计算给定前几个词的条件下下一个词的条件概率，但是方法不一样，基本分为以下几步： 计算特征：对数线性语言模型围绕特征这个概念。特征是“上下文中某个对预测下一个词有用的东西”。更精确地，我们定义一个特征函

这是2015年的一篇会议论文，作者是Dmitry Bandana，KyungHyun Cho，Yoshua Bengio。本文最重要的贡献就是提出了attention机制。下面我先总结每段的要点，然后适当添加自己的解读。 ABSTRACT 神经机器翻译（NMT）里，别人大多用encoder-decoder，我们推测把原句编码到一个固定长度的向量是一个瓶颈，然后我们提出了改进。 1

这是CMU的助理教授Graham Neubig的一篇tutorial的翻译，原文来自Neural Machine Translation and Sequence-to-sequence Models: A Tutorial。本文只取其中重要部分，略掉习题和高级领域。 2 统计机器翻译 任何翻译系统都可以定义成一个函数，输入是原句，输出是一个翻译假设。统计机器翻译系统是用给定原句下译句