qq_37657182的博客

提出背景： 精确一维搜索计算一个最优步长计算量巨大。我们换一种思路，每次下降不要求最优步长，一个大体满意的步长即可。大体满意的步长往往存在一些共性规律，下面介绍三种准则：①Goldstein准则记ϕ(t)=f(Xk+tPk)\phi(t) = f(X^k+tP^k)ϕ(t)=f(Xk+tPk)，那么Goldstein准则可以改写为：将ρ\rhoρ和ϕ′(0)\phi^{'}(0)ϕ′(...

前提：求单峰函数ϕ(t)\phi(t)ϕ(t)的极小点①黄金分割法算法构造思想插入的两点在搜索区间中是对称的，因此无论删除哪一端，留下的总是长为β的区间。同时保证下一次迭代，能利用上一次迭代计算过的点。保证了每次迭代都以同一个的比率缩短区间。β1=αβ\frac{\beta}{1} = \frac{\alpha}{\beta}1β​=βα​在[a,b][a,b][a,b]区间插入...

①设序列{Xk}\{X^k\}{Xk}收敛于解X∗X^*X∗，若β\betaβ线性收敛： 0<β<10<\beta<10<β<1超线性收敛： β=0\beta =0β=0次线性收敛： β=1\beta = 1β=1②设序列{Xk}\{X^k\}{Xk}收敛于解X∗X^*X∗，若ppp阶收敛，则对∀q<p\forall q<p∀q&...

对偶线性规划的最优解对应的目标函数值相等，但是最优解不同①弱对偶定理证明：CTX≥(ATW)TX=WT(AX)≥WTb=bTWC^TX\geq (A^TW)^TX = W^T(AX)\geq W^Tb = b^TWCTX≥(ATW)TX=WT(AX)≥WTb=bTW②强对偶定理无界性： 原问题与对偶对偶问题都有最优解的充要条件是它们都有可行解（其中一个问题有无界解，另一个就无可行解）最...

提出背景：对于一般线性规划，AAA中未必刚好有一个mmm阶单位矩阵，因此没有现成的初始基可行解两阶段方法引入人工变量，构造辅助线性规划在上述辅助线性规划执行单纯形法，知道找到辅助线性规划的最优解g∗g^*g∗①若g∗>0g^*>0g∗>0，则原线性规划无解②若g∗=0g^*=0g∗=0基变量全在xix_ixi​中，则基可行解就是原规划的初始基可行解基变量不全在...

单纯形法现在假设原线性规划中，不存在单位矩阵III，所取的基是一般形式的BBB，则形式如下：①最优解判别准则（如何判断我们得到的解是否是最优解，然后终止迭代）：判别数和基都一般化时的情况：若令σj=CBTB−1Pj−cj\sigma_j=C^T_BB^{-1}P_j - c_jσj​=CBT​B−1Pj​−cj​，j=1,…,nj = 1,\dots,nj=1,…,n，则当任意σj≤0...

1. 线性规划的标准形式①目标函数的优化方向都是求minminmin，可以通过将maxmaxmax取反转化②为了使非平凡约束中的关系始终为等号：松弛变量：引入新变量，使小于等于号变等号剩余变量：引入新变量，使大于等于号变等号③为了使平凡约束中的关系始终大于等于0（即消除自由变量）：2. 线性规划的基本概念对于标准线性规划：①基： AAA中mmm列向量组成的线性无关的矩阵B...

从拉格朗日乘子法出发，找原线性规划的对偶线性规划（罚函数的思想）①将非平凡约束转化为惩罚项，先暂时保留平凡约束，构造拉格朗日函数（与原函数的优化方向相同）例子如下：②每给定一个ppp，就可以得到松弛问题的一个最优解g(p)g(p)g(p)③由于在松弛问题中p(b−AX)p(b-AX)p(b−AX)可以≤0\leq 0≤0，因此原问题最佳解x∗x^*x∗也必定是松弛问题的可行解，即：...

最速下降法的思想：按照该点最快的下降方向进行搜索（梯度方向），并找到一个该方向一个最优步长梯度方向走一个步长，用二阶泰勒公式去逼近：由于是最优步长，因此对ttt求导为0，求得的ttt为最优步长可得最优步长：迭代点的递推公式，可以表示如下：由于最速下降法，每次都是走的最优步长，因此每次对ttt求导都会满足求导后的函数值为0：结论最速下降法相邻两次迭代的方向互相垂直，这就影响了...

附加