正则化、交叉验证及泛化能力

最新推荐文章于 2025-06-29 18:21:00 发布

原创

最新推荐文章于 2025-06-29 18:21:00 发布 · 1.6k 阅读

5 ·

CC 4.0 BY-SA版权

本文介绍了正则化、交叉验证及其在提升模型泛化能力中的作用。正则化通过添加惩罚项平衡经验风险与模型复杂度，常见形式为经验风险加正则化项。交叉验证解决数据不足问题，包括简单交叉验证和S折交叉验证。泛化能力是衡量模型对未知数据预测能力的关键，泛化误差上界与样本容量和函数空间有关。

一、正则化
1、模型选择典型的方式就是正则化。正则化就是结构风险最小化策略的实现，就是在经验风险项中添加一个郑泽华想或者叫做惩罚项。
正则化项与模型的关系一般是模型复杂度越高，正则化项的值就会越大。
正则化项的作用就是平衡经验风险较小与模型复杂度较小。最好的结果就是经验风险和模型复杂度同时较小。
正则化的一般形式为：
min∑Ni=11NL(