令
L
(
w
)
=
l
0
(
w
)
+
λ
∑
∣
w
i
∣
L(w)=l_0(w)+\lambda\sum|w_i|
L(w)=l0(w)+λ∑∣wi∣,
则
∂
L
(
w
)
∂
w
i
=
∂
l
0
(
w
)
∂
w
i
+
λ
s
i
g
n
(
w
i
)
\dfrac{\partial L(w)}{\partial w_i}=\dfrac{\partial l_0(w)}{\partial w_i}+\lambda sign(w_i)
∂wi∂L(w)=∂wi∂l0(w)+λsign(wi)。
由于
λ
s
i
g
n
(
w
i
)
\lambda sign(w_i)
λsign(wi)在0的左右两侧分别取值为
−
λ
-\lambda
−λ和
λ
\lambda
λ,
所以当
∣
λ
∣
|\lambda|
∣λ∣足够大时(
>
∣
∂
l
0
(
w
)
∂
w
i
∣
>|\dfrac{\partial l_0(w)}{\partial w_i}|
>∣∂wi∂l0(w)∣),
∂
L
(
w
)
∂
w
i
\dfrac{\partial L(w)}{\partial w_i}
∂wi∂L(w)在0的左右两侧将异号,则0是
L
(
w
)
L(w)
L(w)的一个局部极小值点,在凸优化中即是一个全局最小值点。
L1正则化进行稀疏选择的数学解释
最新推荐文章于 2024-05-24 18:42:41 发布