Gradient Descent Provably Optimizes Over-parameterized Neural Networks 论文阅读

Gradient Descent Provably Optimizes Over-parameterized Neural Networks

论文地址：http://cn.arxiv.org/abs/1810.02054

摘要

神经网络成功的一个谜是可以通过使用随机初始化的一阶方法（如梯度下降）来实现0训练损失，即使是目标函数是非凸和非平滑的。这篇论文发现了使用ReLU激活函数的两层神经网络的一个现象。对于数据量为$n$的数据集和采用ReLU激活函数$m$个隐藏节点的浅层神经网络，我们使用随机初始化的梯度下降法来优化二次损失函数（quadratic loss function），可以证明：只要$m$足够大并且数据是非退化的，将获得具有线性收敛速度的全局最优解。

以上分析主要基于以下观察：过参数化(over-parameterization)和随机初始化联合限制了每个权重向量在所有迭代过程中都接近于初始化，这允许利用强凸性来显示梯度下降将以全局线性速率收敛到全局最优。作者相信这些见解也会有助于分析深度模型以及其他一阶方法。

这篇论文忽略了神经网络的深度，还需要更加努力。而且这篇论文做出的结果是：当隐层神经元个数$m$足够大时，将实现0训练误差（全局最优），个人觉得最重要的是实现测试误差最优。

另外，我很仔细地阅读论文，似乎发现里面有些地方很是粗糙，或是笔误，或是错误，但是对文章整体的结果并没有太大的影响。

问题定义

对于一个使用ReLU（修正线性单元，rectified linear unit）作为激活函数的两层（一个隐层）的神经网络，可以用以下式子来表示：
$$f(W,a,x)=\frac{1}{\sqrt{m}}\sum _{r=1}^m{a}_r\sigma \left(w_r^{T}x\right)$$
其中$x\in {\mathbb{R}}^d$是输入，$w_r\in {\mathbb{R}}^d$是第一层的权重向量，$a_r\in \mathbb{R}$是输出的加权，以及 σ ( z ) = m a x { 0 , z } \sigma(z)=max\{0,z\} σ(z)=max{ 0,z}为ReLU函数。

本文主要关注使用二次损失的经验风险最小化问题。对于数据集 { ( x i , y i ) } i = 1 n \{(x_i,y_i)\}_{i=1}^n { (xi​,yi​)}i=1n​，我们希望最小化以下目标：
$$\underset{W\in {\mathbb{R}}^{d\times m}}{\min }L(W)=\sum _{i=1}^n\frac{1}{2}(f(W,a,x_i)-y_i{)}^2$$
为了实现这个目标，我们使用梯度下降法来更新权重矩阵：
$$W(k+1)=W(k)-\eta \frac{\partial L(W(k))}{\partial W(k)}$$
其中$\eta >0$为步长，对于每个权重向量的具体微分如下：
$$\frac{\partial L(W)}{\partial w_r}=\frac{1}{\sqrt{m}}\sum _{i=1}^n(f(W,a,x_i)-y_i)a_r{x}_i\mathbb{I}\left(w_r^T{x}_i\ge 0\right)$$
$\mathbb{I}$为指示函数，为真等于1，为假等于0。

对此，本文将严格地证明对于非退化的数据集以及最够大的$m$，并且正确的随机初始化$a$和$W(0)$，GD能够以线性收敛速率实现零训练损失。即有：
$$\forall \epsilon >0,\exists W(K),\mathrm{s}.\mathrm{t}.L(W(K))\le \epsilon \mathrm{i}\mathrm{n}K=O(\log (1/\epsilon ))\mathrm{i}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{s}$$

连续时间分析(Continuous Time Analysis)

在本节中，将给出梯度流（最陡下降曲线）的结果，即具有无穷小步长的梯度下降。为此，我们考虑如下定义的微分方程：
$$\frac{d{w}_r(t)}{dt}=-\frac{\partial L(W)}{\partial w_r}$$
对 r ∈ { 1 , 2 , . . . , m } r\in \{1,2,...,m\} r∈{ 1,2,...,m}，定义$u_i(t)=f(W(t),a,x_i)$表示在时间$t$上对输入$x_i$的预测，并且令$u(t)=(u_1(t),u_2(t),...,u_n(t))\in {\mathbb{R}}^n$为在时间$t$上的预测向量。

有以下定理：

Theorem 1(Convergence Rate of Gradient Flow)：假设对所有 i ∈ { 1 , 2 , . . . , n } ， ∥ x i ∥ 2 = 1 ， ∣ y i ∣ ≤ C i\in \{1,2,...,n\}，\lVert x_i\rVert_2=1，|y_i|\le C i∈{ 1,2,...,n}，∥xi​∥2​=1，∣yi​∣≤C对常数$C$，以及矩阵$H^{\infty }\in {\mathbb{R}}^{n\times n}$，其中 H i j ∞ = E w ∼ N ( 0 , I ) [ x i T x j I { w T x i ≥ 0 , w T x j ≥ 0 } ] H^{\infty}_{ij}=\mathbb{E}_{w\sim N(0,I)}[x_i^Tx_j\mathbb{I}\{w^Tx_i\ge0,w^Tx_j\ge0\}] Hij∞​=Ew∼N(0,I)​[xiT​xj​I{ wTxi​≥0,wTxj​≥0}]，满足${\lambda }_{\min }(H^{\infty })\stackrel{△}{=}{\lambda }_0>0$。然后对 r ∈ { 1 , 2 , . . . , m } r\in \{1,2,...,m\} r∈{ 1,2,...,m}，初始化$w_r\sim N(0,I),a_r\sim unif[-1,1]$，并且令$m=\Omega (\frac{n^6}{{\lambda }_0^4})$，可得：
$$\Vert u(t)-y{\Vert }_2^2\le \exp (-{\lambda }_{0}t)\Vert u(0)-y{\Vert }_2^2$$
其中 i ∈ { 1 , 2 , . . . , n } ， ∥ x r ∥ 2 = 1 ， ∣ y i ∣ ≤ C i\in \{1,2,...,n\}，\lVert x_r\rVert_2=1，|y_i|\le C i∈{ 1,2,...,n}，∥xr​∥2​=1，∣yi​∣≤C的假设是为了简化，这可以通过简单放缩实现。关键的假设是$H^{\infty }$矩阵是严格正定的(Xie et al. [2017], Tsuchida et al. [2017])。另外，$m$要求为$\Omega (\frac{n^6}{{\lambda }_0^4})$，即$m$依赖于样本数$n$以及${\lambda }_0$，下面将会证明over-parameterized对保证梯度下降找到全局最优起到很关键的作用。最后，我们可以看到$\Vert u(t)-y{\Vert }_2^2$是以指数级递减至0，并且这个速率依赖于${\lambda }_0$，而不依赖于$n$。

Theorem 1的证明

首先计算每个预测的变化：
KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ \frac{d}{dt}u_…
其中$H(t)\in {\mathbb{R}}^{n\times n}$，满足：
H i j ( t ) = 1 m x i T x j ∑ r = 1 m I { x i T w r ( t ) ≥ 0 , x j T w r ( t ) ≥ 0 } H_{ij}(t)=\frac{1}{m}x_i^Tx_j\sum\limits_{r=1}^m\mathbb{I}\{x_i^Tw_r(t)\ge0,x_j^Tw_r(t)\ge0\} Hij​(t)=m1​xiT​xj​r=1∑m​I{ xiT​wr​(t)≥0,xjT​wr​(t)≥0}
有了这个定义后，我们可以用以下简洁的式子来描述：
$$\frac{d}{dt}u(t)=H(t)(y-u(t))$$
注意到$H(t)$是一个时间依赖的对称矩阵，我们先在$t=0$是分析它的属性。我们引出下面这个引理，当$m$很大时，$H(0)$的最小特征值在很大的概率内有下界。

Lemma 1.1

Lemma 1.1：如果$m=\Omega (\frac{n^2}{{\lambda }_0^2}{\log }^2(\frac{n}{\delta }))$，有$P({\lambda }_{\min }(H(0))\ge \frac{3}{4}{\lambda }_0)\ge 1-\delta$。

证明：

Hoeffding inequality：

假定$X_1,X_2,...,X_n$为有界独立随机变量，且$X_i\in [a_i,b_i]$，定义经验均值变量$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$，满足不等式：
$$P(\overline{X}-\mathbb{E}[\overline{X}]\ge t)\le \exp (-{\sum }_{i=1}^n(b^{}$$