用拉格朗日乘子理解正则项时出现的问题
对于一个预测模型：
(1) y ^ = f ( θ 0 , θ 1 , … , θ l ; x 1 , x 2 , … , x m ) \hat{y}=f({\theta_0, \theta_1,\dots,\theta_l};x_1,x_2,\dots,x_m)\tag{1} y^=f(θ0,θ1,…,θl;x1,x2,…,xm)(1)
其中， y ^ \hat{y} y^为预测值（标签）； { θ i ∣ i ∈ [ 0 ,   l ] } \{\theta_i \mid i\in[0,\,l]\} { θi∣i∈[0,l]}为待估参数； l + 1 l+1 l+1为待估参数的个数； { x j ∣ j ∈ [ 1 ,   m ] } \{x_j \mid j\in[1,\,m]\} { xj∣j∈[1,m]}为输入值（特征）； m m m为输入值的维数。
通常采用最小二乘法估计模型(1)中的待估参数 { θ i ∣ i ∈ [ 0 ,   l ] } \{\theta_i|i\in[0,\,l]\} {
θi∣i∈[0,l]}，令 θ ⃗ = [ θ 0 , θ 1 , … , θ l ] T \vec{\theta}=[\theta_0, \theta_1,\dots,\theta_l]^T θ=[θ0,θ1,…,θl]T，即有优化模型：
(2) 设 计 变 量 ：                                θ ⃗ 目 标 函 数 ：        J ( θ ⃗ ) = ∑ k = 1 n ( y k − y k ^ ) 2 ⟹ m i n \begin{array}{l} {设计变量：\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,}\vec{\theta}\\ {目标函数：\,\,\,\,\,\,}J(\vec{\theta})=\sum_{k=1}^n(y_k-\hat{y_k})^2\Longrightarrow min \end{array} \tag{2} 设计变量：θ目标函数：J(θ)=∑k=1n(yk−yk^)2⟹min(2)
其中， y k y_k yk为真实值， n n n为训练样本的个数。
然而，为了减小 ∣ θ ⃗ ∣ |\vec{\theta}| ∣θ∣（美其名曰：降低模型复杂度，防止模型过拟合，增强模型对新数据的预测能力 链接：正则项的理解之正则从哪里来），通常会在(2)的目标函数后添加一个正则项，即把优化模型(2)变为优化模型(3)：
(3) 设 计 变 量 ：                                      θ ⃗ 目 标 函 数 ：        J ( θ ⃗ ) = ∑ k = 1 n ( y k − y k ^ ) 2 + λ ∑ i = 0 l θ i 2 ⟹ m i n \begin{array}{l} {设计变量：\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,}\vec{\theta}\\ {目标函数：\,\,\,\,\,\,}J(\vec{\theta})=\sum_{k=1}^n(y_k-\hat{y_k})^2+\lambda\sum_{i=0}^l\theta_i^2\Longrightarrow min \end{array} \tag{3} 设计变量：θ目标函数：J(θ)=∑k=1n(yk−yk^)2+λ∑i=0l
最低0.47元/天 解锁文章
扫一扫
536
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
