37、非参数替代方法与隐马尔可夫模型

非参数替代方法与隐马尔可夫模型

1. 拉普拉斯方法近似

拉普拉斯方法在概率密度近似中发挥着重要作用。在相关计算中，仅存在参数 $\alpha_n$，而 $y_n$ 已被消去，$x_i$ 由实验设置选定。通过一系列步骤，拉普拉斯方法能对 $p(w_n|y_n,\alpha_n) \approx p(w_n|\alpha_n)$ 进行近似，此近似也可用于对 $p(y_n|\alpha_n) = \int p(y_n|w_n)p(w_n|\alpha_n)dw_n$ 的拉普拉斯近似，从而得到正态近似。

具体而言，利用拉普拉斯方法原理，在 $(w_n)^ $ 处进行评估，可得：
$p(y_n|\alpha_n) \approx p(y_n|(w_n)^ )p((w_n)^*|\alpha)(2\pi)^{n/2} \det(\Phi’B\Phi + A)^{-1}$

对于上式右侧，可通过最大似然技术对 $\alpha_n$ 进行优化。常见的操作步骤如下：
1. 对每个 $\alpha_i$ 求偏导数。
2. 将导数设为零。
3. 针对每个 $i$，求解关于 $w_i^*$ 的 $\alpha_i$。

若 $\sigma$ 未知，可采用 Tipping（2001）提出的两步迭代程序的变体，结合 (6.3.11) 和 (6.3.12) 来同时求解 $\alpha_i$ 和 $\sigma$。

2. 隐马尔可夫模型 - 序列分类

2.1 模型概述

隐马尔可夫模型（HMM）与之前的方法有本质区别，它假设存在一个不完全可见的层次，观测值从中提取，这在