DUTBenjamin的博客

循环神经网络（RNN）是一类专门处理序列数据的神经网络，具有记忆能力，能够利用历史信息影响当前输出。其核心结构包括隐藏状态的循环连接，通过参数共享机制处理变长序列。RNN与单向流动的前馈神经网络形成鲜明对比，在语音识别、机器翻译等任务中表现优异。为了解决长程依赖问题，LSTM和GRU引入门控机制，分别通过记忆细胞和三门控（遗忘门、输入门、输出门）或双门控（更新门、重置门）选择性保留信息。此外，双向RNN（Bi-RNN）结合前后文信息，而深层RNN通过多层堆叠增强特征提取能力。训练方法上，RNN采用随时间反向

模型泛化能力指模型对未知数据的预测能力，即从训练数据中学习到的模式能够推广到新样本。

1943年，麦卡洛克和皮兹提出MCP模型，开启了人工神经网络的大门。该模型模拟人的神经元反应过程，对输入信号进行线性加权、求和后，再通过非线性激活（阈值法）输出。yfi1∑n​wi​xi​b其中，xi​是输入信号，wi​是对应的权重，b是偏置，f是激活函数。假设一个简单的单层感知机，有两个输入x1​2x2​3，权重w1​0.5w2​0.3，偏置b1，激活函数采用单位阶跃函数（当输入大于0时输出为1，否则为0）。zw1。

此时，正则化提供了一种简单有效的替代方法，通过合理设置正则化参数，可以在有限样本的情况下，使模型在训练集和测试集上都表现出较好的性能。可知，在机器学习里，目标分布 (p(x)) 通常是固定的（即训练数据的分布是确定的），此时(\sum_{i}p(x_{i})\log p(x_{i})) 是一个常数。如果学习率过小，模型的训练速度会非常缓慢，需要更多的迭代次数才能达到较好的效果。在模型学习过程中，通过最小化交叉熵损失来优化模型参数，使模型的预测分布更接近真实分布，进而提高模型的分类性能。

深度学习课程笔记