本文介绍了平滑技术在解决凸且非光滑目标函数优化问题中的应用，特别是Nesterov平滑方法和Moreau-Yosida平滑方法。通过平滑函数近似原函数，分析了两种方法的误差界和迭代次数，展示了如何在优化过程中控制误差并提高效率。
平滑技术(Smoothing Techniques)
考虑一个凸且非光滑的目标函数：
min x ∈ X f ( x ) \min\limits_{x\in X}f(x) x∈Xminf(x)
为了解决这个问题，一个比较直接的想法是使用一个凸且光滑的函数 f u ( x ) f_u(x) fu(x)来近似这个函数。
min x ∈ X f u ( x ) \min\limits_{x\in X}f_u(x) x∈Xminfu(x)
其中 f u f_u fu是 L u L_u Lu Lipschitz连续的。
考虑一个简单的例子，函数 f ( x ) = ∣ x ∣ f(x)=|x| f(x)=∣x∣，该函数是凸的，但是是非光滑的。其近似的光滑且凸的函数，为：
f u ( x ) = { x 2 2 u , ∣ x ∣ ≤ u , ∣ x ∣ − u 2 , ∣ x ∣ > u f_u(x)=\left\{ \begin{aligned} &\frac{x^2}{2u}, &|x|\leq u,\\ &|x|-\frac{u}{2}, &|x| > u \end{aligned} \right. fu(x)=⎩⎪⎨⎪⎧2ux2,∣x∣−2u,∣x∣≤u,∣x∣>u
该函数被称为 Huber function。
Nesterov平滑方法使用如下的函数近似 f ( x ) f(x) f(x)：
f u ( x ) = max y ∈ d o m f ∗ { x T y − f ∗ ( y ) − u d ( y ) } f_u(x)=\max\limits_{y\in dom f^*}\{x^Ty-f^*(y)-ud(y)\} fu(x)=y∈domf∗max{
xTy−f∗(y)−ud(y)}，其中 f ∗ ( y ) = max
最低0.47元/天 解锁文章
扫一扫
546
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
