m0_61209712的博客

外罚函数法的是从可行域 S 的外部逼近最优解，这样得到的近似最优解只是近似地满足约束条件。对于一些工程实际问题，这样的解是不可接受的，因为它虽是最优解，但并非可行解。为了使迭代点总是可行的，本文介绍一种方法——内罚函数法。

求解约束最优化问题，一种途径是在可行域内寻找目标函数值下降得迭代点列（可行方向法），这种方法对于带非线性约束的最优化问题求解效果一般都不太理想。（这也就是为什么可行方向法中约束条件一般是线性约束的原因）。本文学习求解有约束最优化的另一种方法，称为罚函数法。它的基本思想是用原问题的目标函数和约束函数构造新的目标函数——罚函数，从而将约束最优化问题转化为无约束最优化问题来求解。

在约束非线性最优化问题的研究过程中，Zoutendijk 可行方向法是无约束下降算法的自然推广。它的基本思想是从可行点出发，沿着可行方向进行搜索，求出使得目标函数值下降的新的可行点。 算法主要包括选择搜索方向和搜索步长两个主要方面，搜索方向的选择方式不同形成不同的可行方向法。

针对约束优化问题的最优性条件的探究

在n维空间中构造一个单纯形，求出它各个顶点的函数值，比较得到最好顶点和最坏顶点，然后通过反射、扩展、压缩等方法求出一个较好点，用这个点取代最坏点，构成新的单纯形，直到满足停止条件为止。

对偶单纯形法是利用对偶原理求解原线性规划问题的一种方法，而不是直接求对偶问题的方法。前面介绍的单纯形法相对而言称为原始单纯形法。

线性规则中，用同样的条件和数据从不同的角度描述问题建立起两个不同的数学模型。这两个数字模型有着密切的关系，研究他们的关系，可以对线性规划理论有进一步认识，并且可以从中导出求解线性规则的方法。每一个线性规划问题，我们都可以构造出与之相对应的另一个线性规则问题，若称前者为原问题，那么后者就称为它的对偶问题。

模式搜索法是1961年由Hooks和Jeeves提出。这种方法的每一步迭代都是交替进行轴向移动和模式移动。轴向移动的目的是探测下降的有利方向，模式移动的目的则是沿着有利方向作加速运动。

坐标轮换法（算法分析+python代码解释）

基本思想：构造一个辅助线性规划问题（ALP）,通过求解它得到线性规则（LP）的初始可行基。

基本思想：构造一个辅助线性规划问题（ALP）,通过求解它得到线性规则（LP）的初始可行基。

基本思想：从一个基本可行解出发，一步步的转到更优的基本可行解，直至最优解。单纯形法总有两种形式，一是单纯形法，还有一种是单纯形表法。下面我们依次展开讨论。

本章节讲述无约束规划中的最小二乘法。

本章节将介绍无约束问题中的最优化条件，其中包括五个定理。

线性规划：（要求）目标函数和约束函数都是线性函数，求解的方法是单纯形法。

在上期，分析过成功-进退法之后，这期我们来看看另一种区间收缩法——黄金分割法（0.618算法）

在经历了之前三期的一维搜素算法之后，我们今天介绍一个利用目标函数二阶泰勒多项式的最优解作为函数的近似最优解的方法——牛顿切线法，又名抛物线法。

在最优化问题中，为求函数的最小值点，通常分两步进行：首先确定函数的搜索区间；然后不断缩短区间，直至区间收缩为一点为止。为此，本文介绍一个搜索区间的方法——成功-失败算法。

在前期，我们讨论了成功失败算法和黄金分割算法，那么这一期，我们来看看一种最为常见也最为简单的一维搜素方法——二分法

在学习了之前几期一维搜索算法后，今天我们来分析两种最新的算法，分别是两点三次插值法和两点插值法。之前的几种算法，在整个搜索过程中只对函数值进行了比较，在删除“坏”的区间时，已经计算出的函数值并没有得到充分的利用。今天介绍的两种方法是利用低次多项式P（x）在搜索区间上逼近目标函数，然而用近似多项式P（x）的极小点作为新区间的分割点的方法。近似多项式P（x）取二次多项式，则得二次插值法；取三次多项式，则得三次插值法。

Newton和阻尼Newton收敛速度快，但需计算 Hesse 矩阵的逆，计算量大。现有 n 阶正定矩阵近似代替 Hesse 矩阵的逆，由此产生的方法称为变尺度法，称为尺度矩阵。

为了克服最速下降法在最优解附近收敛速度变慢和Newton法不具有整体收敛性以及需要计算Hesse矩阵的缺点，一种介于两者之间的方法被提出，这就是共轭方向法。这种方法不仅克服了上述缺点之外，还能保持上述两种方法各自的优点，即收敛性较好，并且可以在有限布内使二次函数达到最优，即具有二次终止性。

因此，对于有较好的解析性质的目标函数，如具有二阶连续偏导数的目标函数，可以利用其二次近似函数的性质来界定新的搜索方向，或者以目标函数的二次近似函数的极小点作为新目标函数本身的近似解，如果不满足计算精度，则再求该点处目标函数的二次近似函数，进一步求新的近似函数的极小点，如此反复，直至近似点满足事先给定的精度为止，这就是牛顿法的基本思想。

本文开始，我们介绍利用目标函数解析性质求解无约束化问题的解析法。