MATLAB深度学习(六)——LSTM长短期神经网络原理与应用

        LSTM的应用可以参见一个相当好的视频：小车倒立摆最优控制教程 - Part1 Simulink Simscape Multibody仿真建模_哔哩哔哩_bilibili

6.1 序列建模——循环神经网络

        循环神经网络RNN是一类专门用于处理序列性数据x，···，xn的神经网络结构，其结构主要包含三个关键点：本质是一种神经网络；具有循环体结构；包括隐含状态。

6.1.1 RNN

        

        输入为x，经过Wx+b和激活函数f，得到输出y，但是实际应用中会有很多序列形式的数据

        RNN引入了隐状态h，可以对序列形式的数据提取特征，再转换输出。举个例子，一张图片那是同时出现，那就不叫作序列，但如果是视频中的平衡车，每个时间都有输出，且时间不同，输出会有变化，这种就叫做序列。

        

        h1基于上一个隐藏层的状态h0和当前的输入x1计算而来，这一点所有的序列数据都是一样的

        f一般数tanh，sigmoid,ReLU等非线性激活函数，他和CNN一样