机器学习模型参数优化方法解析

1、验证分类相关向量机的近似对数边缘似然函数，对其进行最大化操作会得到超参数重新估计的结果。已知近似边缘似然函数为p(t|α) ≃ p(t|w⋆)p(w⋆|α)(2π)M/2|Σ|1/2 ，超参数重新估计结果为αnewi = γi/(w⋆i )2 ，其中γi = 1 − αiΣii。

首先，对近似边缘似然函数
$$ p(t|\alpha) \simeq \frac{p(t|w_\star)p(w_\star|\alpha)}{(2\pi)^{M/2}|\Sigma|^{1/2}} $$
进行处理，代入 $ p(t|w_\star) $ 和 $ p(w_\star|\alpha) $，然后将边缘似然关于 $ \alpha_i $ 的导数设为零，得到
$$
-\frac{1}{2}(w_{\star i})^2 + \frac{1}{2\alpha_i} - \frac{1}{2}\Sigma_{ii} = 0
$$
接着，定义
$$
\gamma_i = 1 - \alpha_i \Sigma_{ii}
$$
并重新整理，即可得到
$$
\alpha_i^{\text{new}} = \frac{\gamma_i}{(w_{\star i})^2}
$$

2、验证线性回归模型混合的完全数据对数似然函数为ln p(t, Z|θ) = ∑(n = 1到N)∑(k = 1到K) znk ln [πkN(tn|wTkφn, β - 1)]

对于线性回归模型的混合，考虑 $ K $ 个线性回归模型，每个由权重参数 $ w_k $ 控制，使用共同噪声方差，由精度参数 $ \beta $ 控制，混合系数为 $ \pi_k $，混合分布为：

$$
p(t|\theta) = \sum_{k=1}^{K} \pi_k \mathcal{N}(t|w_k^T \varphi, \beta^{-1})
$$

引入二进制潜在变量集 $ Z = {z_n} $，其中 $ z_{nk} \in {0, 1} $，对于每个数据点 $ n