94、机器学习中的泛化边界、生成与判别学习及遗传算法

机器学习中的泛化边界、生成与判别学习及遗传算法

一、泛化边界

1.1 PAC - 贝叶斯边界

与其他边界不同，PAC - 贝叶斯边界是基于单个元分类器的复杂度，而非类的复杂度。对于特定的基假设类，如支持向量机（SVM）使用的间隔分类器，可通过PAC - 贝叶斯边界获得特定假设的边界，这些边界通常比VC或拉德马赫边界更紧。

1.2 其他边界

除了上述边界，还有很多未涉及的领域：
- VC边界细化 ：分类的VC边界可通过经验过程理论的更复杂结果（如伯恩斯坦和基于方差的边界）进行细化。
- 分布和样本相关的复杂度度量 ：与拉德马赫平均值动机不同的其他复杂度度量，如VC熵，它是通过对样本分布求平均得到的分布相关度量。
- 回归问题的边界 ：回归问题的边界与分类问题的边界有相似性质，通过离散化函数空间获得，增长函数被覆盖数取代。
- 算法特定的边界 ：
- 算法稳定性框架 ：SVM的正则化经验风险最小化可在算法稳定性框架下分析，假设在单个训练示例受扰动时预测变化不大则被认为是稳定的。
- 幸运度和压缩框架 ：幸运度框架根据训练样本与算法中编码的偏差的匹配程度给出边界；压缩框架考虑基于训练样本中关键示例的算法，如SVM。
- 相对边界（约简） ：通过将一种问题（如概率估计）的输入和输出转换为另一种问题（如分类），可以在很少假设的情况下