63、数学分析与优化方法详解

数学分析与优化方法详解

1. 实对称核的特征函数

实对称核 (K(x’, x) = K(x, x’)) 的特征函数是正交的，满足：
(\sum_{x} \varphi_a(x) \varphi_b^ (x) = \delta_{ab})
这里 (\varphi^ (x)) 是 (\varphi(x)) 的复共轭。若特征值可数，核有如下分解：
(K(x_i, x_j) = \sum_{\mu} \lambda_{\mu} \varphi_{\mu}(x_i) \varphi_{\mu}^ (x_j))
由此可得：
(\sum_{i,j} y_i K(x_i, x_j) y_j = \sum_{i,j,\mu} \lambda_{\mu} y_i \varphi_{\mu}(x_i) \varphi_{\mu}^ (x_j) y_j = \sum_{\mu} \lambda_{\mu} \left(\sum_{i} y_i \varphi_{\mu}(x_i)\right) \left(\sum_{i} y_i \varphi_{\mu}^ (x_i)\right))
当所有特征值为正时，上式大于零。若特征值不可数，核的分解为：
(K(x_i, x_j) = \int \lambda(s) \varphi(x_i, s) \varphi^ (x_j, s) ds)

2. 多元微积分

2.1 偏导数与梯度向量

对于 (n) 元函数 (f(x_1, x_2, \ldots, x_n) \equiv f(x))，(f) 关于 (