最优化学习笔记（三）——梯度下降法

     本来这周计划写下逻辑回归的学习笔记，但是其中用到了最优化对数似然函数，因此决定先复习下梯度方法和拟牛顿法。本节先从纯数学的角度总结下梯度下降法。

一、柯西-施瓦茨不等式

对于 $\mathbb {R^n}$中的任意两个向量 $\boldsymbol{x}$ 和$\boldsymbol{y}$， 有：

$$|<\boldsymbol{x},\boldsymbol{y}>| \le ||\boldsymbol{x}|| ||\boldsymbol{y}||$$
成立。当且仅当对于某个 $\alpha \in \mathbb{R^n}, 有 x = \alpha y 时，该不等式的等号成立。$

二、梯度下降法

     函数 $f: \mathbb{R^n} \to \mathbb{R}$水平集的概念。水平集是指能够满足$f(x) = c$的所有$x$组成的集合，其中