Pooling反向传播

参考博客:https://blog.youkuaiyun.com/qq_21190081/article/details/72871704

在看卷积神经网络的时候,突然想起来池化是会改变特征图的尺寸的,那反向传播是怎么实现的呢。于是搜了一些博客,感觉上面这个博客写得最清晰直观,就从这个博客里面搬了点东西过来作为笔记。

Pooling池化操作的反向梯度传播

CNN网络中另外一个不可导的环节就是Pooling池化操作,因为Pooling操作使得feature map的尺寸变化,假如做2×2的池化,假设那么第l+1层的feature map有16个梯度,那么第l层就会有64个梯度,这使得梯度无法对位的进行传播下去。其实解决这个问题的思想也很简单,就是把1个像素的梯度传递给4个像素,但是需要保证传递的loss(或者梯度)总和不变。根据这条原则,mean pooling和max pooling的反向传播也是不同的。

1、mean pooling

mean pooling的前向传播就是把一个patch中的值求取平均来做pooling,那么反向传播的过程也就是把某个元素的梯度等分为n份分配给前一层,这样就保证池化前后的梯度(残差)之和保持不变,还是比较理解的,图示如下 :

mean pooling比较容易让人理解错的地方就是会简单的认为直接把梯度复制N遍之后直接反向传播回去,但是这样会造成loss之和变为原来的N倍,网络是会产生梯度爆炸的。

2、max pooling

max pooling也要满足梯度之和不变的原则,max pooling的前向传播是把patch中最大的值传递给后一层,而其他像素的值直接被舍弃掉。那么反向传播也就是把梯度直接传给前一层某一个像素,而其他像素不接受梯度,也就是为0。所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底哪个像素的值是最大,也就是max id,这个变量就是记录最大值所在位置的,因为在反向传播中要用到,那么假设前向传播和反向传播的过程就如下图所示 :

### 卷积神经网络中池化层后的反向传播 在卷积神经网络(CNN)结构里,池化层通常位于多个卷积层之间,用来减少数据维度的同时保留重要特征。当涉及到带有池化层的CNN模型进行反向传播时,主要挑战在于如何有效地计算梯度并传递给前面的层。 对于最大池化(max-pooling),即取局部区域内最大值作为输出,在反向传播过程中只允许那些被选作输出的最大激活单元接收来自后续层传回的误差信号;而对于平均池化(average pooling),则会均匀分配这些误差到所有输入节点上[^1]。 具体实现方面: - **Max Pooling反向传播**:假设有一个大小为 \(k \times k\) 的窗口滑动遍历整个feature map,并选取其中最大的元素构成下一层的新 feature map。那么在这个操作下的 backward pass 中,只有那个曾经贡献过最大值的位置才会接收到完整的 gradient 信息,其他位置上的 gradients 将会被设置成零。 - **Average Pooling反向传播**:如果采用的是求均值的方式,则每一个参与运算的小区域内的像素都会平分由它产生的 error term 给下一个 layer 带来的变化量。 下面给出一段简单的 Python 伪代码来展示 max pooling 和 average pooling反向传播中的差异: ```python def pool_backward(dA, cache, mode="max"): (A_prev, hparameters) = cache stride = hparameters["stride"] f = hparameters["f"] m, n_H_prev, n_W_prev, n_C_prev = A_prev.shape m, n_H, n_W, n_C = dA.shape dA_prev = np.zeros_like(A_prev) for i in range(m): # loop over the training examples a_prev = A_prev[i] for h in range(n_H): # loop on the vertical axis of the output volume for w in range(n_W): # loop on the horizontal axis of the output volume for c in range(n_C): # loop over the channels (depth) of the output volume vert_start = h * stride vert_end = vert_start + f horiz_start = w * stride horiz_end = horiz_start + f if mode == "max": a_prev_slice = a_prev[vert_start:vert_end, horiz_start:horiz_end, c] mask = create_mask_from_window(a_prev_slice) dA_prev[i, vert_start: vert_end, horiz_start: horiz_end, c] += \ distribute_value(dA[i,h,w,c],mask) elif mode == "average": da = dA[i,h,w,c] shape = (f,f) dA_prev[i, vert_start: vert_end, horiz_start: horiz_end, c] += \ distribute_value(da,shape) return dA_prev ``` 此段代码展示了两种不同类型的池化层在其对应的反向传播阶段的行为模式。`create_mask_from_window()` 函数用于创建一个掩码矩阵,指示哪个元素是窗口内最大的;而 `distribute_value()` 则负责按照指定方式重新分布误差项至相应的输入单元格中[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值