m0_51305283的博客

改进方法往往是通过改进模型，即使用LSTM（长短时记忆模型）及其GRU等模型加入门口机制，来弥补梯度消失带来的损失。基于BPTT算法学习的循环神经网络大多数情况下会出现无法成功捕捉到长时依赖问题，主要由于梯度消失问题导致。2.梯度截断，检查误差梯度的值是否超过了阈值，如果超过了那么就截断梯度，将梯度设为阈值。除此之外，RNN较少情况下也出现梯度爆炸情况。1.权重衰减，例如L2权重衰减。

请说一下卷积神经网络里的特征图和感受野怎么计算？VGG网络的特点？如何解释？

最明显的亮点就是引入了Inception，初衷是多卷积核增加特征的多样性，提高泛化能力 ，比如，最下边是一个输入层，然后这个输入分别传递给1*1，3 * 3 ，5 * 5和一个最大池化层，然后将所有的输出特征图在深度上进行一个串联，所以说这就要保证特征图的大小必须得是一致的，1 * 1的卷积核不改变大小，其他卷积核池化要添加0补充。这就引入了Inception V2结构，在3 * 3 5 * 5的卷积核之前加入1 * 1卷积核降维 ， 最大池化层后也加入1 * 1降维，从而减少了深度和参数。

CNN中常见的池化操作有哪些，作用是什么？CNN中常见的池化操作只要是两种，平均值池化和最大值池化最大值池化常用于分类任务，是指在输入数据的局部区域内取最大值作为输出。最大池化的作用是降低特征图的尺寸，减少参数数量，并且提取输入数据中最显著的特征。平均池化操作是指在输入数据的局部区域内取平均值作为输出。与最大池化类似，平均池化也可以降低特征图的尺寸，减少参数数量，并对输入数据进行平滑处理。除了能显著的降低参数量外，还能够保持对平移、伸缩和旋转操作的不变性。例如（1，5，3）经过最大池化后是5，左移

最显著的两个特点是局部连接和权值共享。

另外一种为改变矩阵的长和宽，也改变深度。对于不改变矩阵长宽和深度的，只需要直接把输入和输出相加就可以，如果改变了，则输入也要经过卷积后为同样形状方可加减。残差思想：主要目的是为了解决深度神经网络训练过程中的梯度消失和梯度爆炸问题，同时帮助网络更好地学习到特征表示，突出微小的变化，提高网络的性能和泛化能力。将原本的输入和经过卷积后的输出相加,要注意主分支与shortcut的输出特征矩阵shape必须相同。BN层的目的是使我们的一批feature map满足均值为0，方差为1的分布规律，从而可以加速收敛。

梯度消失（爆炸）：反向传播过程中误差每一次乘以一个<(>)1的数，那么随着深度的加深，误差会越来越小（大），从而导致无法更新神经网络前面的权重或参数，就是梯度消失（爆炸）。由于卷积层和池化层为了提取特征，则全连接层放在最后则负责将这些特征进行组合和分类以便进行预测。全连接层参数量巨大，放在最后有利于有效控制网络的参数规模。因为才疏学浅，文章可能写得不够好或者有不对的地方，请各位多多留言指正。