qq_67279091的博客

6.2.1 FISTA算法：它是Nesterov加速算法的proximal gradient method版本，本节给出了FISTA算法及其等价变形。6.2.2 其他加速算法：主要介绍第二、三类Nesterov加速算法，并针对nonconvex problem给出了加速算法框架。6.1.2 近似点梯度法：给出了proximal gradient method算法框架。6.1.4 收敛性分析。6.2.3 收敛性分析。6.2 Nesterov加速算法。6.1 近似点梯度法。

本章主要讲解罚函数法和增广拉格朗日函数法。

4.7 非线性最小二乘问题算法——第一小节给出了非线性最小二乘问题的一般形式，第二小节主要介绍高斯-牛顿算法，第三小节主要介绍Levenberg-Marquardt方法(主要包括LM、LMF)。4.6 信赖域算法——第一小节给出了信赖域算法的框架，第二小节讨论了信赖域子问题的求解方法(迭代法、截断共轭梯度法)，第三小节主要介绍算法收敛性；

3.6.1 Slater约束品性与强对偶原理——定义相对内点集(是内点集的推广)，介绍了Slater约束品性以及与强对偶原理的关系。3.6.2 一阶充要条件——主要介绍凸问题KKT条件。

4.3 次梯度算法——主要介绍次梯度算法的结构与收敛性。我们在这里指出：如果目标函数是光滑的，梯度类算法通常更高效；如果目标函数是非光滑的，次梯度算法则更为适用。4.2 梯度类算法——主要介绍梯度下降法、BB方法，并给出了Tikhonov正则化模型的求解例子；

1.6 共轭函数——主要介绍共轭函数、二次共轭函数的定义，并给出Fenchel不等式；1.7 次梯度——主要介绍次梯度的定义和性质，以及次梯度的计算规则。

本章主要介绍一些典型优化问题：线性规划、最小二乘问题、复合优化问题、随机优化问题、半定规划、矩阵优化。最后给出了一个凸优化问题的代码示例，使用的是matlab中的cvx工具箱和python中的cvxpy库。Python 中使用的是 cvxpy 库, 可直接通过 pip install cvxpy 进行安装.

4.5 拟牛顿类算法——引入割线方程，介绍拟牛顿算法以及拟牛顿矩阵更新方式，然后给出了拟牛顿法的全局收敛性，最后介绍了有限内存BFGS方法。4.4 牛顿类算法——介绍了经典牛顿法及其收敛性，并介绍了修正牛顿法和非精确牛顿法；

1.5 凸函数——介绍凸函数的定义、判定定理和性质。1.4 凸集——给出了凸集的相关定义，并介绍了分离超平面定理；

3.5.1 一阶最优性条件——主要介绍切锥、线性化可行方向锥的定义，给出了几何最优性条件、LICQ、MFCQ、线性约束品性，并给出了Farkas引理以及KKT条件；3.5.2 二阶最优性条件——给出了临界锥的定义，以及二阶必要条件和充分条件，最后给出了一个例子。

1.2 导数——内容包括Fréchet可微、Gâteaux可微、Taylor展开、梯度利普希茨连续，并指出了梯度利普希茨连续的函数具有二次上界；1.3 广义实值函数——主要介绍适当函数、下水平集、上方图、闭函数、下半连续函数的定义，并给出了闭函数和下半连续函数的等价性。1.1 范数——主要介绍向量和矩阵的相关范数及其性质；

3.4 对偶理论——定义了拉格朗日函数和拉格朗日对偶函数，介绍了弱对偶原理和强对偶原理，之后将问题推广至适当锥中进行讨论。3.3 无约束不可微问题的最优性理论——给出了凸优化问题一阶充要条件和复合优化问题一阶必要条件；3.2 无约束可微问题的最优性理论——定义了下降方向，给出了一阶必要条件和二阶最优性条件；3.1 最优化问题解的存在性——主要介绍Weierstrass定理；

本节主要介绍线搜索准则——Armijo准则、Goldstein准则、Wolfe准则以及非单调线搜索准则；给出了线搜索算法如回退法、基于多项式插值的线捜索算法；最后不加证明地给出了算法的收敛性。