卷积网络参数与输出形状计算

44、a) 尝试用自创的（可微的）激活函数重现讲座中的问题。b) 思考待估计的参数数量如何随层数的增加而变化。为了正确估计这些参数，我们需要更多还是更少的数据？

a) 可自行设计可微激活函数，如对常见激活函数进行修改或组合，然后按照讲座中的问题流程进行计算和分析。

b) 通常层数增加，待估计的参数数量会增多。为了正确估计这些参数，一般需要更多的数据，因为更多参数意味着模型复杂度增加，需要更多数据来避免过拟合，使模型能学习到数据的普遍特征。

45、对于形状为 (kh, kw) = (5, 3) 且只有一个通道的卷积核，步长 (sh, sw) = (1, 1)，以及形状为 (H, W, C) = (6, 5, 1) 且只有一个通道的输入，需要多大的填充 (ph, pw) 才能使输出形状与输入形状相同（即相同填充）？

根据一般推理，对于高度方向，要使输出高度与输入高度相同，需要在上下各补充一定数量的维度。因为卷积核高度 $ k_h = 5 $，所以需要在上下各补充 $ \frac{5 - 1}{2} = 2 $ 个维度，即 $ p_h = 2 $；对于宽度方向，卷积核宽度 $ k_w = 3 $，需要在左右各补充 $ \frac{3 - 1}{2} = 1 $ 个维度，即 $ p_w = 1 $。因此，所需的填充为 $ (p_h, p_w) = (2, 1) $。

46、考虑以下网络：输入：(H, W, C) = (28, 28, 3)；卷积层：卷积核数量为8，所有卷积核形状为(kh, kw, kc) = (5, 5, 3)，步长为(sh, sw) = (1, 1)，采用相同填充；池化层：(kh, kw) = (4,4)，(sh, sw) = (2, 2)。列出并计算该网络中的所有参数数量。

每个卷积核有3个通道，形状为5×5，每个卷积核需要3×5×5 = 75个参数。卷积层有8个卷积核，所以所有卷积核的参数总量为8×75 = 600。

除了卷积核权重，还有偏置，每个卷积核有1个偏置，即8个偏置。因此，卷积层参数总数为600 + 8 = 608。

池化层操作固定，没有参数。所以，该网络总共有60