32、机器学习中的分类方法与决策策略

机器学习中的分类方法与决策策略

在机器学习领域，分类问题是一个核心的研究方向，涉及到多种方法和决策策略。本文将介绍半监督学习、贝叶斯决策、经验决策以及最近邻分类等相关内容。

半监督学习：利用低维表示提升分类效果

在半监督学习中，大量未标记的训练数据可以被用来提升分类性能。一种有效的方法是先找到数据 $x$ 的低维表示 $h$。基于这个低维表示，从 $h$ 到类别 $c$ 的映射可能比直接从 $x$ 到 $c$ 的映射更容易学习。

当数据点 $n$ 的类别 $c_n$ 缺失时，使用 $c_n = \varnothing$ 表示。可见数据的似然函数可以表示为：
[p(C, X, H|\theta) = \prod_{n} {p(c_n|h_n, \theta_{c|h})}^{I[c_n\neq\varnothing]} p(x_n|h_n, \theta_{x|h})p(h|\theta_h)]
参数可以通过最大似然法进行设置，例如：
[\theta_{opt} = \arg\max_{\theta} \sum_{H} p(C, X, H|\theta)]

贝叶斯决策方法：优缺点分析

贝叶斯决策方法具有概念上“干净”的特点，它试图尽可能地对环境进行建模（可以使用生成式或判别式方法），而与后续的决策过程相互独立。这种方法有以下优点：
- 概念清晰，将环境学习与预期效用的影响分开。
- 对于新输入 $x^ $ 的决策 $c^ $ 可能是 $x^*$ 的高度复杂函数，通过最大化操作实现。
- 如果 $p(x, c|\theta)$ 是数据的“真实”模型，该方法是最