zerozzl01的博客

1 无约束优化对于无约束优化问题中，如果一个函数f是凸函数，那么可以直接通过f(x)的梯度等于0来求得全局极小值点。为了避免陷入局部最优，人们尽可能使用凸函数作为优化问题的目标函数。凸集定义：欧式空间中，对于集合中的任意两点的连线，连线上任意一点都在集合中，我们就说这个集合是凸集。凸函数定义：对于任意属于[0,1]的a和任意属于凸集的两点x, y，有f( ax + (1-a)y ...

这篇博文中直观上讲解了拉格朗日乘子法和 KKT 条件，对偶问题等内容。首先从无约束的优化问题讲起，一般就是要使一个表达式取到最小值：。如果问题是max f(x)也可以通过取反转化为求最小值min −f(x)，这个是一个习惯。对于这类问题在高中就学过怎么做。只要对它的每一个变量求导，然后让偏导为零，解方程组就行了。所以在极值点处一定满足（只是必要条件，比如在x=0处就不是极值点），然后...