33、改进的反向传播算法与 2SAT 和 2UNSAT 计算

改进的反向传播算法与 #2SAT 和 #2UNSAT 计算

改进的反向传播算法

在处理严重类不平衡的训练数据集（TDS）时，传统的过采样方法可能会耗费过多时间。为了解决这个问题，提出了一种改进的反向传播算法，该算法能在训练阶段自动确定过采样率。

算法原理

该算法基于类均方误差（MSE）与类不平衡比率之间的关系。当使用类不平衡的 TDS 训练反向传播算法时，类 MSE 呈现不平衡状态；而使用平衡的 TDS 训练时，类 MSE 则是平衡的。提出的不平衡比率公式如下：
[ratio2 = \frac{|E^-(U)|^2}{|E^+(U)|^2} \times \frac{(Q^+)^2}{(Q^-)^2}]
其中，(E^+(U) = \frac{1}{Q^+} \sum_{q=1}^{Q^+} \sum_{j=1}^{J} (t_q^j - z_q^j)^2)，(E^-(U) = \frac{1}{Q^-} \sum_{q=1}^{Q^-} \sum_{j=1}^{J} (t_q^j - z_q^j)^2)。(J) 是输出节点的数量；(Q^+) 和 (Q^-) 分别是少数类和多数类的样本向量数量；(z(q)) 是输入向量 (x(q)) 的实际输出向量，(t(q)) 是期望输出向量。

算法步骤

该算法的具体步骤如下：

Algorithm 1. Modified back-propagation
Input: N, M (number of middle neurodes), J (number output neurodes), K