JasonQ的专栏

乘子法时针对外部罚函数法的改进方法，由于外部罚函数法随着罚因子的增大，增广目标函数的Hesse矩阵条件数会逐渐增大，从而导致在实际计算中，数值计算的稳定性也会变得越来越差，难以精确求解。乘子法改由在约束问题的Lagrange函数中加入相应的惩罚，使得在求解无约束问题时，罚因子不必趋于无穷大就能求到约束问题的最优解，而且数值计算的稳定性也能得到很好的保证。

罚函数法的特点是根据问题的目标函数以及约束函数，构造出一个具有惩罚效果的目标函数序列，从而把约束最优化问题转换为对一系列无约束最优化问题的求解。而这种惩罚策略对于在无约束问题的求解过程中企图违反约束的那些迭代点给予很大的目标函数值，迫使这一系列无约束问题的极小点(迭代点)或者无线的向容许集靠近(称为外部罚函数法)，或者一直保持在容许集内移动(称为内部罚函数法，仅适用于具有不等式约束的最优化问题)，知道收敛到极小点。

一般性约束最优性条件前面几篇博客主要讲了无约束最优化问题的一些求解方法。从这一篇博客开始将开始讲有约束的最优化方法。首

前面几篇博客中，分别讲述了最速下降法、Newton法、拟Newton法和共轭方向法，这些方法中都需要计算目标函数$f(x)$的梯度，其中Newton法还需要计算目标函数$f(x)$的Hesse矩阵。我们把以上方法统称为导数方法。当然还有不计算导数的方法，称为直接方法。步长加速法就是一种简单的直接方法，对于变量较少的无约束极小化问题，步长加速法是一种简单又比较有效的方法。

共轭方向法是介于最速下降法和Newton法之间的一种方法。克服了最速下降法的锯齿现象，从而提高了收敛速度；同时，共轭方向法的迭代公式比较简单，不必求目标函数的Hesse矩阵，比Newton法减少了计算量和存储量。是一种比较实用而且有效的方法。

在讲解Newton法是我们提到了Newton法的一些缺点，其中一些缺点已经用修正Newton法解决，还有一些缺点，比如在每次迭代过程中我们都需要计算Hesse矩阵以及它的逆矩阵，这个过程所需的计算量非常大，尤其是在变量维度增大的时候，这将会抵消掉Newton法收敛速度快的优点。拟Newton法就是在保证Newton法迭代速度快的基础上，摆脱了Hesse矩阵的计算。

基本思想算法修正Newton法总结上一篇博客我们讲了最速下降法(梯度下降法)，梯度下降法简单，但是收敛的速度较慢。这一篇博客将会讲述牛顿法，牛顿法对于正定二次函数具有二次终止性，有较好的收敛速度。   注：（二次终止性）对于nn元的正定二次函数求极小值问题的算法，如果从任意点出发，经过有限次迭代就能够求得极小点，我们称这种

直线搜索在讲解最速下降法的博客中，讲到了使用直线搜索的方法来求解xk+1x_{k+1}（也就是求解步长因子tkt_k），但是并没有讲解什么叫做直线搜索，现在对直线搜索进行补充说明。直线搜索定义1:对于问题minϕ(t)min \phi(t)其中ϕ:R1→R1\phi:R^1\rightarrow R^1。求解该一元函数极小值问题的迭代方法我们称为直线搜索或一维搜索。 直线

二次函数与二次规划计算终止准则在上一篇博客中写了最速下降/梯度下降法的算法中，有关于正定二次函数和终止准则进行补充说明。二次函数与二次规划定义1:函数f(x)=12xTQx+bTx+cf(x)=\frac 12x^TQx+b^Tx+c成为n元二次函数。其中Q=⎡⎣⎢⎢⎢⎢q11q21…qn1q12q22…qn2…………q1nq2n…qnn⎤⎦⎥⎥⎥⎥,b=⎡⎣⎢⎢⎢b1b2…b3⎤⎦⎥⎥⎥Q=\l

基本思想算法描述应用于正定二次函数锯齿现象梯度下降法在机器学习中是经常用到的一种方法，很多人也把梯度下降法看作是最速下降法，但是这两种方法好像还有一些细微差别，wikipedia中Gradient descent的描述中有这么一句：Gradient descent is also known as steepest descent. However, gradient descent shou

多元函数Hesse矩阵凸集凸函数凸规划二次函数与二次规划极小点的判定条件《最优化方法》和《应用数理统计》是机器学习的基础，接下来一段时间我将整理整理最优化和数理统计的一些知识，整理的知识中不包含证明过程（具体的证明过程可以查阅相关书籍），在学习最优化过程中需要一点高数和线性代数基础。多元函数定理1：若f(x)在点x0x_0c处可微，则f(x)在该点关于各个变量的一节偏导数存在，并且l=[