一、基础知识(3)-共轭函数、次梯度

最新推荐文章于 2025-04-12 17:15:49 发布

原创

最新推荐文章于 2025-04-12 17:15:49 发布 · 2.8k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#算法

本文介绍了共轭函数的概念，包括其几何意义和Fenchel不等式，以及二次共轭函数的定义。其次，探讨了次梯度的定义、性质，特别是对于适当凸函数的次微分和方向导数。此外，还阐述了次梯度的基本计算规则，如可微凸函数、凸函数的非负线性组合和线性变量替换的情况。这些概念和性质在优化问题中扮演关键角色。

                    
                        
                    
                    一、共轭函数 
1.1 共轭函数的定义和例子 
共轭函数：f∗(y)=supx∈domf{ 
     yTx−f(x)}f^*(y)=\underset{x\in dom f}{sup}\{y^Tx-f(x)\}f∗(y)=x∈domfsup​{ 
       yTx−f(x)} 
  几何意义：xyxyxy与f(x)f(x)f(x)之间差值的最大值。
 
 
Fenchel 不等式：f(x)+f∗(y)⩾xTyf(x)+f^*(y)\geqslant x^Tyf(x)+f∗(y)⩾xTy
 
1.2 二次共轭函数 
二次共轭函数：f∗∗(y)=supx∈domf∗{ 
     xTy−f∗(x)}f^{**}(y)=\underset{x\in dom f*}{sup}\{x^Ty-f^*(x)\}f∗∗(y)=x∈domf∗sup​{ 
       xTy−f∗(x)}
 
二、次梯度 
2.1 次梯度的定义 
次梯度：设fff为适当凸函数，xxx为定义域domfdomfdomf中的一个点，若向量g∈Rng\in \R^ng∈Rn满足，f(y)⩾f(x)+gT(y−x),∀y∈domff(y) \geqslant f(x)+g^T(y-x),\forall y\in domff(y)⩾f(x)+

                

最低0.47元/天解锁文章