27、深度学习架构中的精确学习与信息处理

深度学习架构中的精确学习与信息处理

1. 精确学习相关理论

1.1 特征值极限与积分方程解的条件

在研究积分方程时，对于特征值 $\lambda_n$，通过对不等式进行再一次积分，即：
$M = \int_{0}^{1}\int_{0}^{1}K^2(t, s) dsdt \geq \sum_{n\geq1}\lambda_n^2\int_{0}^{1}e_n(t)^2 dt = \sum_{n\geq1}\lambda_n^2$
由于级数 $\sum_{n\geq1}\lambda_n^2$ 收敛，可得出 $\lim_{n\rightarrow\infty}\lambda_n = 0$。

对于积分方程 $g(t) = \int_{0}^{1}K(t, s)h(s) ds$，Picard 给出了更一般的结果，即存在解 $h \in L^2[0, 1]$ 的充要条件是级数 $\sum_{n\geq1}\frac{g_n^2}{\lambda_{2n}}$ 收敛，此结果对非对称核 $K$ 也成立。

1.2 退化核逼近连续核

处理核的一种有效方法是用退化核逼近连续核。退化核可表示为有限个可分离函数的和，即 $A_n(t, s) = \sum_{i = 1}^{n}\alpha_i(t)\beta_i(s)$。
- 命题 10.7.1 ：设 $K : [0, 1] \times [0, 1] \rightarrow R$ 是连续核，对于任意 $\epsilon > 0$，存在 $n \geq 1$ 以及 $\alpha_i, \beta_i \in C[0, 1]$（