用来自己学习，复习

以‌LSTM（长短期记忆）神经网络为例，它通过‌遗忘门、输入门和输出门来控制信息的流入和流出，从而解决传统RNN（循环神经网络）中的梯度消失或爆炸问题。长短期记忆网络利用复杂的门控机制来挖掘时间序列的时间依赖性，直观地说，LSTM网络关注的是序列关联以及序列内的变化趋势。如果没有激活函数，网络的输出就是输入的线性组合，即使网络有多层，整个模型也等效于一个线性模型，无法有效处理复杂的数据特征。：根据损失函数的值，使用链式法则计算梯度，从输出层向输入层反向传播，以更新权重和偏置，减少损失。

储备池的简要概括。前馈神经网络（Feedforward neural networks,FNN）和递归神经网络（Recurrent neural networks,RNN）。回声状态网络（ESN）和液态机（LSM）的共同点和区别。

BP (Back Propagation) 神经网络是1986年由 Rumelhart 和 McClelland 为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络。，从输出层到隐含层，最后到输入层，依次调节隐含层到输出层的权重和偏置，输入层到隐含层的权重和偏置。，旨在最小化损失函数，从而对输入数据进行精确的分类或回归预测。输入层到隐藏层的权重，w隐藏层到输出层的权重。神经网络是一种多层前馈神经网络，它通过。，从输入层经过隐含层，最后到达输出层；

网络，一个按照正向顺序处理输入序列，另一个按照反向顺序处理输入序列。遗忘门（forgetgate）：决定上一个时间步的细胞状态对当前时间步的影响程度。输入门（input gate）：决定当前时间步的输入信息对细胞状态的影响程度。隐藏状态（hiddenstate）：当前时间步的输出，也是下一个时间步的输入。输出门（output gate）：决定细胞状态对当前时间步的输出影响程度。输入门用来控制当前输入数据对记忆单元状态值的影响。LSTM 是一种特殊的 RNN，它通过引入。输出门用来控制记忆单元状态值的输出。

方差缩放方法能够根据神经元的链接数量来自适应地调整初始化分布地方差，尽可能的保证每个神经元的输入和输出方差一致。

在神经网络的训练过程中，一个非常直观的需要调整的超参数就是batch size。我们需要决定在一次训练中，要选取多少样本喂给神经网络，这个要选择的样本个数，就是batch size。batch size的。

学习率是训练神经网络的重要超参数之一，它代表在每一次迭代中梯度向损失函数最优解移动的步长。在网络训练过程中，模型通过样本数据给出预测值，计算代价函数并通过反向传播来调整参数。可知道除了梯度本身，这两个因子直接决定了模型的权重更新，从优化本身来看它们是影响模型性能收敛最重要的参数。学习率直接影响模型的收敛状态，batchsize则影响模型的泛化性能，两者又是分子分母的直接关系，相互也可影响，因此这一次来详述它们对模型性能的影响。在训练过程中，一般根据训练轮数设置动态变化的学习率。根据上述公式我们可以看到。

在前馈神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。在生物神经网络中，神经元之间的连接关系要复杂的多。前馈神经网络可以看着是一个复杂的函数，每次输入都是独立的，。。比如一个有限状态自动机，其下一个时刻的状态（输出）不仅仅和当前输入相关，也和当前状态（上一个时刻的输出）相关。此外，前馈网络难以处理时序数据，比如视频、语音、文本等。。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。是一类具有短期记忆能力的神经网络。