Optimization for Data Science学习笔记-4

课程4

接下来就开始学习具体的问题和解决问题的算法了~

首先是无约束问题 unconstrained problems

之前学习的回顾，什么是凸集、凸函数、局部最优解

参考：https://blog.youkuaiyun.com/qq_16608563/article/details/82757086

1. 无约束问题的最优性条件 optimality condition for unconstrained problems

所谓非线性规划的最优化条件，是指非线性规划模型的最优解所满足的必要条件或者充分条件。

无约束优化问题的最优性条件，是和最优解有关的条件，最优解的充分or必要条件。
首先是一阶条件first-order condition，它是必要necessary的最优性条件，即已知是（局部或全局）最优解，得到了有关梯度（一阶）的结论。

由此可以看出，可以通过刻画最小值的性质来得到最优性条件。
算法能够轻易找到满足这个必要条件的点，但我们不知道它是否是最优解