30、机器学习中的多种算法与概念解析

机器学习中的多种算法与概念解析

1. 提升算法（Boosting）

提升算法是集成学习方法的一个家族。它源于一个问题：两类学习问题的复杂度类别，即强可学习和弱可学习是否等价。提升框架通过构造性证明给出了肯定的答案，表明这两类是等价的。该框架能将一个仅比随机猜测略好的“弱”模型提升为任意精度的“强”模型。

在提升算法家族中，Adaboost 是最知名且成功的算法，但也存在许多针对特定任务的变体，如对成本敏感和对噪声有容忍度的版本。

提升算法相关模型

• 玻尔兹曼机（Boltzmann Machine） ：其产生的图形模型形成一个无向玻尔兹曼机，不过较低层形成一个有向无环图，连接从高层指向低层。
• 条件随机场（Conditional Random Fields） ：可以看作是高阶条件玻尔兹曼机的简化版本，其中隐藏单元已被消除。这使得学习问题变为凸问题，但失去了学习新特征的能力。

2. 自助采样（Bootstrap Sampling）

自助采样是一种从单个数据集中创建数据集分布的过程。它用于集成学习算法中的装袋（Bagging），也可用于算法评估，以创建训练集的分布，从而估计算法的属性。

3. 底子句（Bottom Clause）

底子句是归纳逻辑编程领域的一个概念。当从蕴含关系进行学习时，它指的是覆盖特定示例的最具体假设。

示例

给定背景理论 B：