5、深度神经网络ReLU神经元的MIP公式化研究

深度神经网络ReLU神经元的MIP公式化研究

在深度学习领域，ReLU神经元是常用的激活函数，它简单高效且能表达复杂的非线性关系。本文将探讨ReLU神经元的不同混合整数规划（MIP）公式化方法，分析它们的优缺点，并通过实验比较其性能。

1. 起始假设与符号定义

• 输入域假设 ：对于每个输入分量 (i)，假设 (-\infty < L_i < U_i < \infty)。有界输入域虽使公式化和分析更困难，但能确保标准MIP可表示性条件满足，且在许多应用中变量边界是自然存在的，对保证合理的对偶边界至关重要。
• 相关符号定义 ：
  • 定义 (\breve{L}, \breve{U} \in \mathbb{R}^{\eta})，对于每个 (i \in [\eta])，(\breve{L}_i = \begin{cases} L_i, & \text{if } w_i \geq 0 \ U_i, & \text{if } w_i < 0 \end{cases}) 且 (\breve{U}_i = \begin{cases} U_i, & \text{if } w_i \geq 0 \ L_i, & \text{if } w_i < 0 \end{cases})。
  • 定义 (M^+(f) = \max_{\tilde{x} \in [L, U]} f(\tilde{x}) \equiv w \cdot \breve{U} + b) 和 (M^-(f) = \min_{\tilde{x}