函数正则项

正则的引入：正则性衡量函数光滑(可导)，正则项则是为了使函数可导而引入的补项。这里的可导可以引申为通过正则项的引入使得非适定问题变为适定问题。（如果按照实际的条件进行求解，函数将出现无穷解现象。当正则项引入时（加入BV范数），函数就变成了可求解函数了。）
这里对适定问题定义：1.问题的解存在且唯一；2.定解约束的改变相对较小时，解的改变也相对较小。

在机器学习中，正则项的引入是为了解决过拟合问题（overfitting）
网上这类文章会有很多，这里不做详细论述。

一般的正则项都会在前面有一个设定的系数，该系数的目的主要是为了体现解的可信度，当该系数过小时，正则项的引入约束力较小，起到的约束作用较小，在约束较小时的结果其可信度较差。当我们的系数增大时，正则项所起的作用也就随之增大。我们求得的解的也更接近我们所设约束下的最优解。

正则项的应用（此处不针对深度学习进行阐述）

1.先验估计：通过正则项的引入，将先验（例如：通过某种方法可以初步估计的结果）做为约束条件，进行函数求解

2.求解奇异矩阵（不为满秩，也就是所推导的的等式个数小于不等式个数。例如：你要求x，y，z。你只给出了x+y=4；y+z=6，这样你是求解不出来特定解的，这样会造成无穷多解。）引入正则项等同于引入了求解方程所需的其他等式关系。
在求解Ax=b时，便可应用此方法

矩阵A的条件数：