m0_74066291的博客

原创 深度学习笔记

深层网络中，梯度反向传播时经多层传递后趋近于 0，导致浅层参数难以更新，学习无法进行。梯度反向传播时经多层传递后急剧增大，导致网络不稳定。使用 ReLU 激活函数、梯度裁剪（针对梯度爆炸）、合理初始化权重、改变网络结构（如引入BN层、残差连接、LSTM等）。