21、核、反向传播、正则化交叉验证及高级梯度方案

核、反向传播、正则化交叉验证及高级梯度方案

1. 核计算相关内容

1.1 核化成本函数

在某些情况下，为简化计算，可忽略一些因素，将成本函数写成核化形式。例如，原本的成本函数在忽略某些项后，可表示为：
[g (b, z) = \sum_{p=1}^{P} \max^2 \left(0, 1 - y_p \left(b + h_p^T z\right)\right) + \lambda z^T H z]

对于多类 softmax 损失的核化，多类 softmax 成本函数最初为：
[g (b_1, \ldots, b_C, w_1, \ldots, w_C) = \sum_{c=1}^{C} \sum_{p \in \Omega_c} \log \left(1 + \sum_{j=1, j \neq c}^{C} e^{(b_j - b_c) + f_p^T (w_j - w_c)}\right)]
将 (w_j) 重写为 (w_j = F z_j + r_j)（其中 (F^T r_j = 0_{P \times 1}) 对所有 (j) 成立），经过一系列推导，成本函数可核化为：
[g (b_1, \ldots, b_C, z_1, \ldots, z_C) = \sum_{c=1}^{C} \sum_{p \in \Omega_c} \log \left(1 + \sum_{j=1, j \neq c}^{C} e^{(b_j - b_c) + h_p^T (z_j - z_c)}\right)]

1.2 傅里叶核计算

1.2.1 标量输入

核矩阵 (H) 的 ((i,