5、用于深度学习的新型残差块综合集：视网膜疾病诊断的CNN解决方案

用于深度学习的新型残差块综合集：视网膜疾病诊断的CNN解决方案

1. 信号传播与CNN架构

1.1 信号传播原理

在信号处理过程中，我们对残差信号 $\alpha(X_l)$ 和耗尽信号 $\beta(X_l)$ 按照特定规则进行处理，将所提出构建块传播的输出信号记为 $\tau(X_l)$。设计思路在于，当某一分支因小批量数据出现梯度退化时，另一分支能够传播不受小批量影响且具有放大绝对梯度的信号。具体而言，当 $\beta(X_l) \approx 0$ 时，$\tau(X_l) \approx \alpha(X_l)$；当 $\alpha(X_l) \approx 0$ 时，$\tau(X_l) \approx \beta(X_l)$，这体现了未受影响分支在受影响分支退化时的生存能力。而当两个分支都未受梯度放大影响时，$\alpha(X_l) \times \beta(X_l)$ 的乘法运算会平衡因两个分支相加导致的信号传播增加。反向传播优化时计算构建块输出 $\tau(X_l)$ 相对于输入 $X_l$ 的梯度，公式如下：
$$
\frac{\partial\tau(X_l)}{\partial X_l} =
\left(
1 + \sigma(X_l)
\right)
\times
\left(
1 +
\frac{\partial}{\partial X_l}
\sum_{i = l}^{N}
\hat{F}(X_i, W_i)
\right)
+
\left(
1 + X_l +
\sum_{i = l}^{N}
\