20、线性近似的示例引导合成

线性近似的示例引导合成

1. 问题陈述与挑战

在这部分内容中，我们会正式定义合成问题，然后阐述其中的技术挑战。在讨论过程中，我们主要聚焦于合成上界的生成函数，但后续也会说明如何获取下界函数。

1.1 合成问题

给定激活函数 $\sigma(x)$ 以及输入范围 $x \in [l_x, u_x]$，我们把该范围内所有区间的集合定义为 $I_x = { [l, u] | [l, u] \in \mathbb{R}, l, u \in [l_x, u_x]}$。例如在实验里，我们会采用 $l_x = -10$ 和 $u_x = 10$。要是遇到 $[l, u] \notin I_x$ 的情况，就会采用基于分解的技术。

我们的目标是合成一个生成函数 $G(l, u) \to \langle a_u, b_u \rangle$，或者等价地，合成两个生成函数 $G_{au}(l, u)$ 和 $G_{bu}(l, u)$，使得对于任意的 $[l, u] \in I_x$ 和 $x \in \mathbb{R}$，满足条件 $x \in [l, u] \Rightarrow \sigma(x) \leq G_{au}(l, u) \cdot x + G_{bu}(l, u)$。这等同于要求以下条件不成立（即该公式不可满足）：
$\exists [l, u] \in I_x, x \in \mathbb{R} . x \in [l, u] \land \sigma(x) > G_{au}(l, u) \cdot x + G_{bu}(l, u)$

上述公式表达了寻找反例的过程，也就是寻找一个输入区间 $[l, u]$，使得 $G_{a