深度理解机器学习14-循环神经网络

·描述经典前馈网络。·区分前馈神经网络和循环神经网络。·评估循环神经网络随时间反向传播的应用。·描述循环神经网络的缺点。·使用带有keras的循环神经网络来解决作者归属问题。

循环神经网络

多层感知器和卷积神经网络等网络缺乏这种能力。这些网络的每一个输入都是独立处理的，它们不存储来自过去输入的任何信息以分析当前输入，因为它们的结构中缺少内存。既然如此，也许有一种方法可以让神经网络有记忆。我们可以尝试让它们存储过去的有用信息，让它们检索过去的信息，从而帮助它们分析当前的输入。这确实是可能的，这种结构就叫作循环神经网络（Recurrent Neural Network，RNN）。

循环神经网络应用

·语音识别：无论是亚马逊的Alexa、苹果的Siri、谷歌的语音助理，还是微软的Cortana，它们所有的语音识别系统都使用RNN。

·时间序列预测：任何具有时间序列数据的应用程序，例如股票市场数据、网站流量、呼叫中心流量、电影推荐、谷歌地图路线等，都使用RNN来预测未来数据、最佳路径、最佳资源分配等。

·自然语言处理：机器翻译（例如谷歌翻译）、聊天机器人（例如Slack和谷歌的聊天机器人）和智能问答等应用程序都使用RNN来建模依赖关系

前馈神经网络

（Feed Forward Neural Network，FFNN）不能捕捉时变依赖关系（time-variable dependencies）变得很明显，而时变依赖关系对于捕捉信号的时变特性至关重要。在许多涉及真实世界数据的应用中，例如语音和视频，建模时变