Krse Lee的技术博客

今天看到一篇不错的英文文章介绍LSTM，原文地址http://colah.github.io/posts/2015-08-Understanding-LSTMs/ ，觉得很有用就结合自己的理解部分翻译了一下。本人水平有限，有不足和错误的地方欢迎指正。LSTM（Long ShortTerm Memory长短项记忆）网络是一种特殊的RNN，可以学习long-term中的依赖。Hochreite

很早在实验室就看见钱宝宝用Google的Word2Vector来阅读《天龙八部》并找出与指定词最相关的几个词，最近正好学习新出的深度学习开源项目DeepLearning4J，于是就拿这个例子来练手吧。DL4J快速入门请看 http://deeplearning4j.org/quickstart.html 。DeepLearning4J的Example中自带了很多应用实例，Word2Vector

LSTM是递归神经网络（RNN）的一个变种，相较于RNN而言，解决了记忆消失的问题，用来处理序列问题是一个很好的选择。本文主要介绍如何使用DL4J中的LSTM来执行回归分析。如果不清楚RNN和LSTM，可以先阅读 LSTM和递归网络教程 以及 通过DL4J使用递归网络 ，特别是不熟悉RNN输入和预测方式的强烈建议先阅读这两个教程。如果不太会建立DL4J的工程，建议在其样例工程中进行本实验。

本文重点讲述的是一种被称为attention的方法，有的人将其译为“聚焦”，但觉得这种翻译将原文对神经网络拟人化的手法给扔掉了，因此保留了原来的称谓。Attention，顾名思义，就是让神经网络对部分内容引起注意，而忽略其他不重要的内容。目前我看到过这篇文章的两种译文版本，但都有不少缺陷，或是残缺，或是表述不清难以理解，因此汲取两个版本的优点对原文重新进行翻译。 Attention方法的通用的技巧是将原本不可微的离散数据结合一个attention分布变得可微，从而使得离散数据也可以作为神经网络的输入向量，