21、神经网络逼近定理与一维输入学习

神经网络逼近定理与一维输入学习

1. 逼近定理概述

在神经网络的表示中，一些经典的实分析结果具有重要作用。

1.1 连续函数学习

对于学习连续函数 (f \in C[a, b])，需要满足一致收敛的条件。神经网络会生成一系列连续函数，这些函数逐点收敛于目标函数 (f)。为了证明这种收敛是一致的，可以使用迪尼定理。

另一种在紧集上构造一致收敛函数序列的技术是利用阿尔泽拉 - 阿斯克利定理。在这种情况下，可以从一组一致有界且等度连续的结果中提取出一个收敛子序列。因此，具有 Sigmoid 激活函数的单隐藏层神经网络可以学习紧集上的连续函数。此外，还可以使用斯通 - 魏尔斯特拉斯定理来逼近紧集上的连续函数，该定理也可用于神经网络学习周期函数。

1.2 (L^1) 和 (L^2) 目标函数学习

对于 (L^1) 和 (L^2) 中的目标函数，可以使用维纳陶伯定理进行学习，这些定理主要适用于钟形激活函数。

1.3 收缩原理应用

收缩原理表明存在一个不动点，它可以应用于单隐藏层神经网络的输入 - 输出映射以及共振网络。通过迭代输入 - 输出映射，网络可以学习特定的函数。

2. 相关练习

以下是一些相关的练习题，用于加深对上述理论的理解：
| 练习题 | 内容 |
| — | — |
| 练习 7.11.1 | 设 (F = {tanh(ax + b); a, b \in R})，证明函数族 (F) 是一致有界的。 |
| 练习 7.11.2 | 设 (F = {ax + b; \vert a \ve