明歌天下

在常见的优化问题的求解过程中，经常会碰到运用梯度的方法来求得极值点，对于梯度的理解，一开始还停留在本科高数中的简单知识点，这两天通过《Convex optimization》Chapter9的学习+网络资源增进了理解，整理下来。 常用梯度方法：梯度下降法、共轭梯度法（共轭方向法）、投影梯度法、牛顿法无约束优化问题上面提到的这些梯度方法通常会被运用到无约束优化问题中，无约束优化问题形式为： $$

在优化理论中，我们经常会碰到很多特殊类型的优化方法，最近主要看了convex optimization，将其中涉及到的一些常见优化方法整理如下。LP(linear programming):一般形式：QP(quadraitic programming):当约束条件变为二次的时，问题就变成了QCQP（quadratical constraint quadratic Pro

好久好久木有写了，由于时间比较零散，总是感觉没有学到什么东西，也就没什么可写的，最近模式识别课正好有个作业是写一个综述，我选的流形学习，把自己的所学记录下来。流形学习是一种实现非线性降维的方法，这一方法的发展主要得益于2000年Science上两篇文章的发表—ISOMAP和LLE（Local linear embedding）,第一篇主要是对MDS方法的改进，用测地线距离（geodesic diat