超分辨率重建——梯度下降、坐标下降、牛顿迭代

在阅读相关文献的时候，经常会遇到梯度下降，坐标下降，牛顿迭代这样的术语，今天把他们的概念整理一下。

梯度下降 

整理自百度

梯度下降法是一个最优化算法，通常也称为最速下降法。

顾名思义，梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。

其迭代公式为

   

,其中

   

代表梯度负方向，

   

表示梯度方向上的搜索步长。梯度方向我们可以通过对函数求导得到，步长的确定比较麻烦，太大了的话可能会发散，太小收敛速度又太慢。一般确定步长的方法是由线性搜索算法来确定，即把下一个点的坐标看做是a k+1的函数，然后求满足f(a k+1)的最小值的 即可。

因为一般情况下，梯度向量为0的话说明是到了一个极值点，此时梯度的幅值也为0.而采用梯度下降算法进行最优化求解时，算法迭代的终止条件是梯度向量的幅值接近0即可，可以设置个非常小的常数阈值。

举一个非常简单的例子，如求函数

   

的最小值。

利用梯度下降的方法解题步骤如下：

1、求梯度，

 

2、向梯度相反的方向移动

   

，如下

 

，其中，

   

为步长。如果步长足够小，则可以保证每一次迭代都在减小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。

3、循环迭代步骤2，直到

   

的值变化到使得

   

在两次迭代之间的差值足够小，比如0.00000001，也就是说，直到两次迭代计算出来的

   

基本没有变化，则说明此时

   

已经达到局部最小值了。