优化目标中正则项意义

优化目标中经常会有$L_1$或$L_2$范数正则项，我们知道这是一种约束，但是具体如何约束？怎么理解？从何而来呢？

经常有两种理解：

1. 正则项来源于约束优化中的约束条件，通过拉格朗日乘子法并入优化目标中。如[1]中所说。但是需要注意的是，二者不应说是等价的，因为在不等式约束优化中，引入的拉格朗日乘子在优化目标中被当成了待优化的参数，而不是一个常数。因此不等式约束中的C不能能消掉。这样确保最终求得的解一定满足不等式约束。
2. 正则项来源于贝叶斯统计中的先验分布。如[1][2]所述。

[1]. https://blog.youkuaiyun.com/m0_38045485/article/details/82147817#commentBox
[2]. 极大似然估计与极大后验估计