24、深度学习架构中的通用逼近器：从可积函数到可测函数的学习

深度学习架构中的通用逼近器：从可积函数到可测函数的学习

在深度学习领域，理解神经网络如何逼近不同类型的函数是一个核心问题。本文将深入探讨神经网络对可积函数和可测函数的学习能力，从数学角度揭示其背后的原理。

1. 逻辑函数在L2意义下的区分性

首先，我们关注逻辑函数在L2空间中的性质。通过一系列的数学推导，证明了逻辑函数在L2意义下是具有区分性的。具体来说，对于任意的 ( w ) 和 ( \theta )，满足特定的积分关系，根据引理可以得出 ( g = 0 ) 几乎处处成立，这就证明了 ( \sigma ) 在L2意义下的区分性。
同时，还证明了 ( \sigma_{\lambda} ) 在 ( \lambda \to \infty ) 时在L2意义下收敛到 ( \gamma )，即：
[ \lim_{\lambda \to \infty} \int_{I^n} |\sigma_{\lambda}(x) - \gamma(x)|^2 dx = 0 ]
通过分段计算差值，利用控制收敛定理，得出上述极限为0。这意味着逻辑函数在L2意义下是具有区分性的。根据相关命题，任何有限能量函数 ( g \in L^2(I^n) ) 都可以由具有足够多逻辑Sigmoid神经元的单隐藏层神经网络的输出逼近。

2. 学习可积函数 ( f \in L^1(I^n) )

接下来，我们将理论扩展到可积函数 ( f \in L^1(I^n) ) 的学习上。对于Sigmoid函数在L1意义下的区分性，有如下定义：
- 激活函数 ( \sigma ) 是可测且有界的；
- ( \sigma ) 是定义意义下的Sigmoid函数；