16、工程师的统计学习：神经网络回归与网络正则化

工程师的统计学习：神经网络回归与网络正则化

1. 神经网络回归统计

在神经网络回归中，我们关注回归估计 $\hat{m}_N(x) = f_H(X_j; \hat{\vartheta}_N)$ 的性质。这里考虑一般回归模型，并对输入和残差有通常的独立性假设，同时假设权重向量 $\vartheta$ 在子集 $\Theta_N$ 中几乎处处可识别。

当神经元数量 $H$ 固定且 $N \to \infty$ 时，$\hat{m} N(x)$ 收敛到具有 $H$ 个神经元的特定神经网络的输出函数 $f_H(x; \vartheta {opt})$。其中，$\vartheta_{opt}$ 是在所有网络函数 $\mathcal{F} N^{nn} = {f_H(x; \vartheta); \vartheta \in \Theta_N}$ 中，使 $D_0(\vartheta {opt}) = \min_{\vartheta \in \Theta_N} D_0(\vartheta)$ 成立的权重向量，这里 $D_0(\vartheta) = E(m(X_j) - f_H(X_j; \vartheta))^2 = \int (m(x) - f_H(x; \vartheta))^2 p(x) dx_1 \cdots dx_d$，$p(x)$ 是 $X_1, X_2, \cdots$ 的密度函数。

$D_0$ 的样本近似为 $D_N(\vartheta) = \frac{1}{N} \sum_{j=1}^{N} (m(X_j) - f_H(X_j; \vartheta))^2$。若 $D_N(\vartheta_N) = \min_{\varthe