Regularization 正则

正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。

                                                                                                                                                                ----百度百科

1、要解决的问题

1. 正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。约束有引导作用，在优化误差函数的时候倾向于选择满足约束的梯度减少的方向，使最终的解倾向于符合先验知识。
2. 正则化解决了逆问题的不适定性，产生的解是存在，唯一同时也依赖于数据的，噪声对不适定的影响就弱，解就不会过拟合，而且如果先验(正则化)合适，则解就倾向于是符合真解(不会过拟合)。

2、数学定义

 

1. 正则化：代数几何中的一个概念。
2. 给平面不可约代数曲线以某种形式的全纯参数表示。即对于PC^2中的不可约代数曲线C，寻找一个紧Riemann面C*和一个全纯映射σ:C*→PC^2,使得σ(C*)=C。

3、机器学习中的正则化

 

机器学习中正则化项L1和L2的直观理解

机器学习之正则化（Regularization）

 

 

 

 

 

 

 

 

 

1.