【优化】梯度下降 收敛性 证明

梯度下降方法的收敛率是$O(1/t)$。

本文首先介绍梯度下降算法的定义，之后解释收敛性的意义，并给出梯度下降算法收敛性详细证明过程¹。

梯度下降算法

设系统参数为$x$。对于样本$i$，其代价函数为$f_i(x)$。在n个样本组成的训练集上，其整体代价函数为：
$$f(x)=\sum _{i=1}^n{f}_i(x)$$

要求$\omega$使得上式最小，由于没有闭式解，需要通过近似迭代逐步逼近。

梯度下降(Gradient Descent)以$\eta$为学习率，在每次迭代中用一阶泰勒展开近似：
$$x_{t+1}=x_t-\eta \nabla f(x)$$

设$x$的维度为D，代价函数$f$是个标量，梯度$\nabla f(x)$也是一个D维向量。

序列的收敛性

基础定义

有序列 { x t } \{x_t\} { xt​}，如果序号$t$趋于无穷时，满足以下条件：
$$\underset{t\to \infty }{\lim }\frac{x_{t+1}-x^{\ast }}{x_t-x^{\ast }}=\mu$$
则称该方法收敛到$x^{\ast }$，收敛率为$\mu$, $\mu \in (0,1)$。也称为以$\mu$收敛到$x^{\ast }$。

例：数列$1,1/2,1/4,1/8...$收敛到$L=0$，收敛率为$1/2$。

扩展定义

还有一些序列也会随着序号趋于某个定值，但是收敛的速率随着下标发生变化。这里引入一个扩展的收敛率定义。
如果存在序列 { ϵ t } \{ \epsilon_t \} { ϵt​}，根据基础收敛率定义，以收敛率$\mu$收敛到0。
则如果序列 { x t } \{x_t\} { xt​}满足：
$$|x_t-x^{\ast }|<{ϵ}_t$$
称该方法收敛到$x^{\ast }$，收敛率为${ϵ}_t$。

例：数列{1,1,1/4,1/4,1/16,1/16…}收敛到$L=0$，收敛率为${ϵ}_t=\frac{1}{2^{t-1}}$={2,1,1/2,1/4,1/8,1/16…}。

梯度下降的收敛性

当我们说“梯度下降的收敛性为$1/t$”时，我们指的是：

当$t$趋于无穷时，代价函数$f(x_t)$收敛到最优解$f(x^{\ast })$，收敛率为${ϵ}_t=O(1/t)$。

引理

这部分为收敛性证明做准备，步骤较曲折，请关注大流程。
##Lipschitz连续
如果标量函数$f(x)$满足如下条件，称其满足Lipschitz连续性条件。
$$|f(x_1)-f(x_2)|\le L||x_1-x_2||$$
其中$||x||$表示向量的模长，$L$称为Lipschitz常数。对于固定的$f$，$L$是一个定值。
这个条件对函数值的变化做出了限制。

$\beta$平滑

进一步，如果函数$f(x)$的梯度满足值为$\beta$的Lipschitz连续，称函数$f(x)$为$\beta$平滑：

$$||\nabla f(x)-\nabla f(y)|{|}^2\le \beta ||x-y|{|}^2$$

其中$||x|{|}^2=x^{T}x$。这个条件对函数梯度的变化进行了约束：梯度之差的模长，不会超过自变量之差模长的常数倍。

$\beta$平滑性质1

满足$\beta$平滑的函数有如下性质：

$$|f(x)-f(y)-\nabla f(y{)}^T(x-y)|\le \frac{\beta }{2}||x-y|{|}^2$$

证明如下：

构造一个插值函数$g(t)=f(y+t(x-y))$，其关于$t$的导数：
$$g^{\prime }(t)=\nabla f(y+t(x-y){)}^T(x-y)$$

可以把函数值之差转化为积分：
$$f(x)-f(y)=g(1)-g(0)={\int }_0^1{g}^{\prime }(t)dt={\int }_0^1\nabla f(y+t(x-y){)}^T(x-y)dt$$

代入左侧：
$$left=|{\int }_0^1...dt-\nabla f(y{)}^T(x-y)|$$
第二项是和$t$无关的常数，可以直接写入[0,1]的积分中：
$$left=|{\int }_0^1...dt-{\int }_0^1\nabla f(y{)}^T(x-y)dt|$$

两个积分号合并：
$$left=|{\int }_0$$