Bin 的专栏

文章目录重写约束条件部分优化：消除等式约束：引入Slack变量：例子： SVM的hinge loss form凸函数的一阶最优条件（First-order optimality conditions)例子：二次优化参考资料本章来自Ryan Tibshirani的Convex Optimization: Fall 2019课程的Convexity II: Optimization basics小节。先看一个比较容易理解的概念：最优解组成的集合是一个convex set如果强凸的函数f，最优解是唯一的：

第3章 Convex Sets and Convex functions

上一篇介绍了二阶优化算法Natural Gradient Descent（自然梯度算法），虽然可以避免计算Hessian，但是依然在计算代价上极高，对于大型的神经网络参数规模依然不可能直接计算。本篇继续介绍自然梯度算法后续的一个近似计算方法K-FAC

二阶优化算法Natural Gradient Descent，是从分布空间推导最速梯度下降方向的方法，和牛顿方法有非常紧密的联系。Fisher Information Matrix往往可以用来代替牛顿法的Hessian矩阵计算。下面详细道来。

主要参考是[1]和[2]的内容。特别是[2]，比较简明又全面的介绍了需要的数学背景知识。主要需要数学分析（主要是实分析，Real analysis）, 微积分（calculus）, 以及线性代数（linear algebra）的最基础数学背景知识。

Convex Optimization 凸优化书第一节，introduction。凸优化问题：本书主要介绍凸优化问题，定义是：对于目标函数以及约束函数都是convex的优化问题，称为convex optimization问题