本文详细介绍了仿射集、凸集、凸锥的概念及其包，探讨了凸函数、共轭函数的性质，并详细讲解了对偶梯度下降算法，包括原始对偶问题、KKT条件、弱对偶与强对偶。此外，还涉及到了一阶原始对偶问题的解决方法，如PDHG算法和Chambolle-Pock算法的C++实现。文章内容丰富，适合对优化算法感兴趣的读者学习。
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家：点击跳转
目录
后来发现网友的内容似乎来自北大教材链接
一，仿射集、仿射包
1，仿射集(affine set)
满足如下条件的集合叫仿射集：
直线是仿射集，线段不是
2，仿射组合(affine combination)
3，仿射包(affine hull)
对任意集合 A，增加最少的元素使 A 变为仿射集 B ，则仿射集 B 是 A 的仿射包，即 B 是包含 A的最小仿射集。
线段的仿射包是包含这条线段的直线，平面多边形（三角形，正方形等）的仿射包是包含此多边形的整个平面。
仿射集的仿射包是它自身。
二，凸集、凸包
1，凸集
仿射集都是凸集，凸集不一定是仿射集，如线段、凸多边形。
2，凸组合
3，凸包(convex hull)
对任意集合 A，增加最少的元素使A 变为凸集B ，则凸集B 是 A 的凸包，即 B 是包含 A 的最小凸集。
凸集的凸包是其本身。
三，凸锥、锥包
1，凸锥(convex cone)
锥其实就是若干（有限或无限）条从原点出发的射线组成的。
设函数f是射线到角度的映射，角度范围是[0,2π)，那么：
一个锥是凸锥 等价于 这个锥作为定义域时f的值域是凸集（即凸的线段）
除了单射线和平面点全集之外，其他凸锥的边界就是2条射线，所构成的夹角一定在(0,π]区间内。
2，锥组合
3，锥包(cone hull)
对任意集合 A，增加最少的元素使 A 变为凸锥 B ，则凸锥 B 是 A 的锥包，即 B 是包含 A 的最小凸锥。
四，极点、回收方向、回收锥、极向量、极方向
1，极点
凸集中不能表示成两个不同点的凸组合的点，叫做极点。
2，回收方向、回收锥
非空凸集的所有回收方向构成的凸锥（包括零向量），称为
的回收锥
如凸集{y>=x^2}的回收锥是{x=0, y>=0}, 凸集{y>=e^x}的回收锥是{x<=0,y>=0}
如有限凸集的回收锥一定是{x=0，y=0}，即只有零向量这一个回收方向。
3，极向量、极方向
凸锥中不能表示成其他向量的锥组合的向量，称为极向量。
凸集的回收锥的极向量，称为该凸集的极方向。
如凸锥{x<=0,y>=0}的极向量的集合是{x=0，y>=0}∪{x<=0,y=0}，凸集{y>=e^x}的极方向的集合也是它。
五，凸函数
1，凸函数
一般有3种说法：
（1）f1是凸函数，f2是凹函数
（2）f1是凹函数，f2是凸函数
（3）f1是下凸函数，f2是上凸函数，都是凸函数
都是一样的意思，仅仅叫法不同而已，不用太在意。
用（1）说法来定义凸函数：
我个人喜欢用（3）说法，因为他不参与（1）和（2）的争斗。
上凸函数中，点集{y<f2(x)}是凸集，下凸函数中，点集{y>f1(x)}是凸集。
2，一阶条件
3，二阶条件
如果是多元函数，它的二阶导数是Hessian矩阵。
4，示性函数
凸集的示性函数为凸函数。
六，共轭函数
1，共轭函数
sup是上确界，dom是定义域。
2，示例
3，共轭函数的性质
（1）函数的共轭函数是凸函数
（2）凸函数f的共轭函数的共轭函数是f本身
以一元可微凸函数为例，推导如下：
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
