20、深度学习中的逼近定理与网络应用

深度学习中的逼近定理与网络应用

1. 神经网络对周期函数的学习

在神经网络领域，利用余弦激活函数的单隐藏层神经网络展现出了学习连续周期函数的能力。考虑一个单隐藏层神经网络，输入为实数 $x$，输出为一维 $y$，隐藏层有 $N$ 个神经元，激活函数为 $\varphi(x) = \cos(x)$。该网络的输出表达式为：
[y = a_0 + \sum_{j=1}^{N} \alpha_j \cos(w_jx + b_j)]
其中，$w_j$ 是从输入到隐藏层的权重，$\alpha_j$ 是从隐藏层到输出层的权重，$b_j$ 是隐藏层的偏置，$a_0$ 是输出层神经元的偏置。隐藏层激活函数为余弦函数，输出神经元激活函数为线性函数。

对于一个周期为 $T$ 的连续函数 $f(x)$，即 $f(x + T) = f(x)$，令 $\nu = \frac{2\pi}{T}$ 为其频率。当权重 $w_i = i\nu$ 时，通过三角函数公式展开网络输出：
[
\begin{align }
y&=a_0 + \sum_{j=1}^{N} \alpha_j \cos(j\nu x + b_j)\
&=a_0 + \sum_{j=1}^{N} \alpha_j \cos(j\nu x) \cos(b_j) - \alpha_j \sin(j\nu x) \sin(b_j)\
&=a_0 + \sum_{j=1}^{N} a_j \cos(j\nu x) - c_j \sin(j\nu x)\
&=a_0 + \sum_{j=1}^{N} a_j \cos(\frac{2\pi jx}{T}) -