最优化算法（二）

第十七,十八节课 优化算法的设计

先考虑无约束优化,$min{f}_0(x)$ (凸,可微)

此时 KKT 条件为$\nabla f_0(x)=0$

对于一般优化算法,一般采取迭代,迭代公式一般如下$x^{k+1}=x^k+{\alpha }^k{d}^k$,其中${\alpha }^k$是学习率,也就是步长是一个标量,$d^k$是方向

选择步长

最优步长又称线搜索:${\alpha }^k=arg\underset{\alpha \ge 0}{\min }{f}_0(x^{k+1})$

• 求解最优步长是一个一维的问题
• 对于$\alpha$是一个凸函数
• 但实际中 d 一般不是最优的,步长也不一定要选择最优的,差不多的也可以

下面是非精确线搜索

0.618 法/优选法

凸的一维的线搜索问题可以用

先限定步长的范围$[0,{\alpha }_{max}]$,最长步长是估测的,以后再学方法

每次取$0.382{\alpha }_{max}$和$0.618{\alpha }_{max}$,然后比较函数值,由于$f_0(x)$是关于$\alpha$的凸函数,所以每次可以排除一部份

若要极限收缩速度,可以取 0.5,然后两点收缩这样就可以看作求导数

但使用 0.618,这样划分后每次可以少算一个点

Armijo Rule/Back tracking

$\alpha ={\alpha }_{max}$
$while{f}_0(x^k+\alpha d^k)>f_0(x^k)+\gamma \alpha <\nabla f_0(x^k)\cdot d^k>$
$\alpha =\alpha \beta$

其中$\beta \in (0,1)$,$\gamma$一般是 0.5

不一定是最优,但可以保证的是函数经过了足够的下降

固定步长

步子一定要小,需要更多迭代次数

递减步长

$\frac{1}{k}/\frac{1}{\sqrt{k}}$递减的学习率

选择方向

梯度下降法

认为向着负梯度的方向可以最快下降,

可以搭配 0.618,armijo,固定等步长方法,不可和递减步长搭配

考虑算法的性能指标

• 能否收敛
• 收敛到哪里
• 收敛速度

假设 0:$f_0(x)$凸且可微,最优解和最优值存在且有限

假设 1:$\nabla f_0$是 lipschitz 连续,即$\exists L>0,\forall x,y,||\nabla f_0(x)-\nabla f_0(y)|{|}_2\le L||x-y|{|}_2$
lipschitz 连续本身在说,函数梯度值有界

若 f 二阶可微, 海森矩阵是有界的(意为特征值有界)

假设 2:强凸

第十九节课

强凸是要求大于等于+原像两点的模
严格凸是凸定义的大于等于变为大于

强凸会使得函数在顶端非常陡峭,lipschitz 连续梯度会使得函数非常平滑

满足上面三条假设,会使得函数在底端变得特别平滑,这个时候我们更加关心函数值的收敛性,此时的函数会是比较漂亮的类似二次函数

梯度下降法+固定步长+满足三假设

定理 1:若$f_0$ 有 L-lipschitz 连续梯度,若学习率在(0,$\frac{2}{L}$)之间,则有值收敛
$$f_0(x^k)-f_0(x^{\ast })\le \frac{(f_0(x^0)-f_0(x^{\ast }))2||x^0-x^{\ast }|{|}^2}{k\alpha (2-L\alpha )(f_0(x^0)-f_0(x^{\ast }))+2||x^0-x^k|{|}^2}$$

x 的上标代表了进行到第 k 步,*代表最优

解释:

1. 如果一开始就是最优解,那么梯度下降法将会不动
2. 函数值的收敛速度是$O(\frac{1}{k})$
3. 对于步长,我们希望$maxk\alpha (2-L\alpha )$求这个最优化问题得$\alpha =\frac{1}{L}$

证明:

1. 点的单调性
   $||x^{k+1}-x^{\ast }|{|}^2=||x^k-x^{\ast }-\alpha \nabla f_0(x^k)|{|}^2=||x^k-x^{\ast }|{|}^2-2\alpha <x^k-x^{\ast },\nabla f_0(x^k)>+{\alpha }^2||\nabla f_0(x^k)|{|}^2=||x^k-x^{\ast }|{|}^2-2\alpha <x^k-x^{\ast },\nabla f_0(x^k)-\nabla f_0(x^{\ast })>+{\alpha }^2||\nabla f_0(x^k)|{|}^2$
   $<x^k-x^{\ast },\nabla f_0(x^k)-\nabla f_0(x^{\ast })>\ge \frac{1}{L}||\nabla f_0(x^k)|{|}^2$
   $||x^{k+1}-x^{\ast }|{|}^2\le ||x^k-x^{\ast }|{|}^2$
2. 函数值的单调性
   $f_0(x^{k+1})\le f_0(x^k)+<\nabla f_0(x^k),x^{k+1}-x^k>+\frac{L}{2}||x^{k+1}-x^k|{|}^2$
3. 函数值的充分下降

第二十节课

定理 2:若$f_0(x)$ 有 L-Lipschitz 连续梯度,$\mu$强凸,$\alpha \in (0,\frac{2}{\mu +L}]$,则有点收敛
$$||x^k-x^{\ast }|{|}^2\le (1-\frac{2\alpha \mu L}{\mu +L}{)}^k||x^0-x^{\ast }|{|}^2$$

解释:

1. $(1-\frac{2\alpha \mu L}{\mu +L}{)}^k\in [\frac{(L-\mu {)}^2}{(L+\mu {)}^2},1)$
2. 这时的最优步长是$\frac{2}{\mu +L}$但这个比较冒险
3. 看式子是指数收敛,但老师说指数收敛和线性收敛是一回事,他更愿意将纵坐标改为 log 后定义线性收敛和超/次线性收敛

证明:
略

$\mu$和 L 分别代表了梯度的最小值和最大值,海森矩阵的特征值的就是梯度的范围,对角矩阵的特征值等于对角元素,所以有以下例子

$$f_0(x)=x_1^2+4x_2^2海森矩阵{\nabla }^2{f}_0(x)=\left(\begin{array}{cc}2& 0\\ 0& 8\end{array}\right)\to L=8,\mu =2$$

条件数:矩阵的最大特征值比上最小特征值
当目标函数的海森矩阵的条件数很大的时候,如果使用固定步长,即使采用理论最优步长也只能以缓慢的速度收敛,本质是收敛速度受制于上面的条件数

解 1:预处理
解 2:二阶方法

结论:若$f_0(x)$ 有 L-Lipschitz 连续梯度,$\mu$强凸,$\alpha \in (0,\frac{2}{\mu +L}]$,若使用精确线搜索
$$f_0(x^k)-f_0(x^{\ast })\le (1-\frac{\mu }{L}{)}^k(f_0(x^0)-f_0(x^{\ast }))$$
若使用 Armijo Rule
f0(xk)−f0(x∗)≤(1−min{2μγαmax,2μγβL})kL(f0(x0)−f0(x∗))f_0(x^k)-f_0(x^*)\leq(1-min\{2\mu\gamma\alpha max,\frac{2\mu\gamma\beta}{L}\})^k{L}(f_0(x^0)-f_0(x^*))f0​(xk)−f0​(x∗)≤(1−min{2μγαmax,L2μγβ​})kL(f0​(x0)−f0​(x∗))

解释:反正无论哪种步长选择都无法避免受到条件数影响

梯度下降算法的解释一

通过估计目标函数,并极小化估计函数
只用一阶泰勒展开是因为用二阶会和自己估计的误差的二次项重复

第二十一节课

梯度下降算法的解释二

下降方向和负梯度夹角小于 90 度,而且步长合适的时候(不能太大,不为负数)就可以下降
我们需要极小化下降方向$d^k=arg\underset{||d||=1}{\min }<\nabla f_0(x^k),d>$

1. 假设范数为 2 范数求得为$\frac{-\nabla f_0(x^k)}{||\nabla f_0(x^k)|{|}_2}$
2. 假设范数为 1 范数,即$min<\nabla ,d>=min\sum {\nabla }_i{d}_i,s.t.\sum |d_i|=1$,将 d 分给梯度分量绝对值最大的即可
3. 假设范数为无穷范数,那么只要将每一维的方向取反为模 1 就可以就可以,这样只需要知道梯度的方向就可以 即 sign GD 方法

非梯度下降方法:坐标轮换法

每轮迭代都尝试往一个坐标轴方向走,步长取$(-{\alpha }_{max},{\alpha }_{max})$,在得出的值中取最小的
这个方法求解非光滑的不可微的问题可能会出问题

K-means

其实就是上面的非梯度下降方法

坐标轮换法适用于精确步长容易计算的情况,否则会出问题

第二十二节课

K-means 其实是一类 EM 算法的代表,其实就是轮换地去求期望极大,EM 有时也被叫 MM(majorivtion,minmizaton)

次梯度

$g_0(x)\in \partial f_0(x)$,次梯度是一个集合,集合内元素满足
$\forall y,f_0(y)\ge f_0(x)+<g_0(x),y-x>$
光滑的点的次梯度只有一个,只有不光滑的次梯度才有范围

KKT 条件

如果不可微,则$0\in \partial f_0(x)$

次梯度法

$x^{k+1}=x^k-{\alpha }^k{g}_0(x^k)$
不保证下降,比如在离最优点很久的地方可能会震荡甚至还会使函数值上升

改进

只要使用递减步长可以缓解这个问题,关于递减的序列我们有以下三种选择

1. ${\alpha }^k=\alpha$
2. 不可加 平方可加${\alpha }^k=\frac{1}{k+1}$
3. 不可加 平方不可加${\alpha }^k=\frac{1}{\sqrt{k+1}}$

考虑不可微的函数(次梯度法分析)

假设:$f_0(x)$Lipschitz 连续,$\forall x,y,|f_0(x)-f_0(y)|\le G||x-y||$

等价假设:$||g_0(x)||\le G,\forall g_0(x)\in \partial f_0(x),\forall x$

难点:次梯度法难以保证函数点单调性和函数值单调性,所以我们只需要考虑当前最优解(而非当前解)的单调性和性质

当前最优解函数值收敛性

1. ${\alpha }^k=\alpha$~$\frac{\alpha G^2}{2}$
2. 不可加 平方可加${\alpha }^k=\frac{1}{k+1}$~$O(\frac{1}{lnk})$
3. 不可加 平方不可加${\alpha }^k=\frac{1}{\sqrt{k+1}}$~$O(\frac{lnk}{\sqrt{k}})$

例子

$f_0(x)=\frac{x^2}{2}$
我们会发现,要求梯度有界不是特别合理,即使这个函数的性质特别好

神经网络训练中的自动微分会出问题
如 Relu(x)-Relu(-x) 在 x=0 处大概率给出 0,因为机器会拆分来求
-Relu(x)在 x=0 处大概率给出 0,但这是不符合次梯度的定义,不过他们又搞了一个广义次梯度,也不会出大篓子

邻近点梯度法

我们可以看到上面的次梯度法效率堪忧,对于一些有特殊结构的非光滑函数,我们还有邻近点梯度法

若$f_0(x)=s(x)+r(x)$,且 s 可微且导数易求导,r 不可微易求邻近点投影

s 代表光滑,r 代表正则化

邻近点投影

$\underset{x}{\min }r(x)+\frac{1}{2\alpha }||x-\hat{x}|{|}^2$的值就是邻近点投影,$\alpha 和\hat{x}$会给定

例子:盒约束(Box constrains )
$mins(x),s.t.x_i\in [l_i,u_i],\forall i\to mins(x)+\sum _{i=1}^{n}I(x_i\in [l_i,u_i])$I 是示性函数

第二十三节课

例子$min{f}_0(x)=\frac{1}{2}||Ax=b|{|}^2+\lambda ||x|{|}_1$

等价于求$arg\underset{x}{\min }\lambda ||x|{|}_1+\frac{1}{2\alpha }||x-\hat{x}|{|}^2$

$$\forall x_i,arg\underset{x_i}{\min }\lambda ||x_i|{|}_1+\frac{1}{2\alpha }||x_i-\widehat{x_i}|{|}^2$$
前半段光滑,次梯度等于梯度综合来看其 KKT 条件中稳定性条件如下

$0\in \{\begin{array}{rl}& [-\lambda +\frac{1}{\alpha (x_i-\widehat{x_i})},\lambda +\frac{1}{\alpha (x_i-\widehat{x_i})}],x_i=0\\ & -\lambda +\frac{1}{\alpha (x_i-\widehat{x_i})},x_i<0\\ & \lambda +\frac{1}{\alpha (x_i-\widehat{x_i})},x_i>0\end{array}$

邻近点梯度法实现

$$\begin{gathered} x^{k+1/2}=x^k-\alpha \nabla S(x^k) \\ {x}^{k+1}=arg\underset{x}{\min }r(x)+\frac{1}{2\alpha }||x-x^{k+1/2}|{|}^2 \end{gathered}$$

简单来说就是步骤 1 梯度下降,步骤 2 求解 r 的邻近点投影

由于式 2 是无约束的优化问题,所以其 KKT 条件中的稳定条件化简得到下面
$x^{k+1}=x^k-\alpha \nabla s(x^k)-\alpha gr(x^{k+1})$
其实本质是用到了未来的信息,但直接用这个式子是无法实现的,这个信息是求优化问题而得到的

假设$x^k\to x^{\infty }$收敛,我们考察一下收敛到何处

由于$x^{\infty }=x^{\infty }-\alpha \nabla s(x^{\infty })-\alpha gr(x^{\infty })\rightleftarrows \nabla s(x^{\infty })+gr(x^{\infty })=0$说明到达最优解

一般使用固定步长

邻近点梯度法实践

ISTA 算法,迭代软门限算法
$min{f}_0(x)=\frac{1}{2}||Ax=b|{|}^2+\lambda ||x|{|}_1$

$$\begin{gathered} x^{k+1/2}=x^k-\alpha A^T(A{x}^k-b) \\ {x}^{k+1}=arg\underset{x}{\min }\lambda ||x|{|}_1+\frac{1}{2\alpha }||x-x^{k+1/2}|{|}^2 \end{gathered}$$

第一步不保证变稀疏,第二步会保证变稀疏(实际是一个软门限)

如果要考虑添加了一些简单的约束条件且优化函数是光滑的,可以考虑将邻近点梯度法中的第二步改成为投影到约束内,这是投影梯度法

第二十四节课

随机优化问题
$$min\frac{1}{N}\sum _{i=1}^N{f}_i(x)$$
fi 为目标函数,也叫损失函数,N 一般很大,代表样本数

解决随机优化问题的算法:随机梯度下降法 SGD

条件:每次处理不能用全部函数,因为 N 极大,考虑计算机的 IO 瓶颈,而且在应用中数据可能是逐步生成的

SGD 不是下降方法,不保证下降

$$x^{k+1}=x^k-{\alpha }^k\nabla f_{i^k}(x^k)$$

简单来说就是因为不能用全部函数,所以每次算梯度的时候,会挑一些函数用来算梯度

mini-batch SGD

若每次不只是选择一个函数,而是选择多个函数算梯度就是 mini-batch SGD
$$x^{k+1}=x^k-{\alpha }^k\frac{1}{B}\sum _{b=1}^B\nabla f_{i^{k,b}}(x^k)$$

步长的讨论

1. 固定步长
   举例$min\frac{1}{2}(x+1{)}^2+\frac{1}{2}(x-1{)}^2$ 假设采用轮换选择函数,在$x^k=\frac{-\alpha }{2-\alpha }$时会陷入震荡

之所以会这样是因为有随机梯度噪声,随机梯度噪声会被步长等比放大

2. 递减步长,要求目标函数强凸光滑且 lipschitz 连续 ${\alpha }^k$~$O(\frac{1}{k})$

如何减少随机梯度噪声

mini batch
增大这个 size 会减少随机梯度噪声,加速收敛,但会导致泛化性能下降(因为噪声减少就不容易跳出局部最优了)