22、一维输入学习与通用逼近器解析

一维输入学习与通用逼近器解析

1. 一维输入学习基础

在一维输入学习中，我们关注的是如何让神经网络学习连续函数。对于在区间 $[0, 1]$ 上的连续函数，我们可以通过不同的激活函数来实现学习。

1.1 分段线性逼近

对于任意连续函数 $g : [a, b] \to R$，根据引理 8.4.1，对于任意 $\epsilon > 0$，存在一个等距划分 $a = x_0 < x_1 < \cdots < x_N = b$，使得分段线性函数 $g_{\epsilon} : [a, b] \to R$ 满足 $|g(x) - g_{\epsilon}(x)| < \epsilon$，对于所有 $x \in [a, b]$。证明步骤如下：
- 步骤 1：定义划分和分段线性函数
- 因为 $g$ 在 $[a, b]$ 上一致连续，所以存在 $\delta > 0$，使得当 $|x’ - x’‘| < \delta$ 时，$|g(x’) - g(x’‘)| < \epsilon/2$。
- 选择足够大的 $N$，使得 $\frac{b - a}{N} < \delta$，定义等距划分 $x_j = a + j\frac{b - a}{N}$，$j = 0, \cdots, N$。
- 分段线性函数 $g_{\epsilon}(x) = g(x_{i - 1}) + m_i(x - x_{i - 1})$，对于 $x \in [x_{i - 1}, x_i]$，其中斜率 $m_i = \frac{g(x_i) - g(x_{i - 1})}{x_i - x_{