不会代码的码农的博客

九、障碍罚函数法—内点、外点罚函数罚函数方法的基本思想是利用约束问题的目标函数和约束函数构造罚函数作为新的目标函数，将约束问题转化为无约束优化问题来求解。　采用不同的罚函数，就形成不同的罚方法。同时，我们是将求解约束问题转化为求解一系列无约束问题，从而获得原问题的逼近最优解。因此该方法也称为序列无约束极小化方法1. 外点罚函数2. 内点罚函数内点罚函数法是一类保持严格可行性的方法，它总是从可行点出发，并保持在可行域内部进行搜索。因而这类方法只适用于只有不等式约束的非线性最优化问题

八、最优化解决非线性无约束问题—最速下降、牛顿法、FR共轭梯度1.最优化理论未完待续2.最速下降求解步骤最速下降程序图3.牛顿迭代法为加快收敛速度，我们考虑利用目标函数f(x)在迭代点x(k) 处的二阶Taylor展开式作为逼近函数，并用这个二次函数的极小点序列去逼近目标函数的极小值点.牛顿迭代法程序框图...

七、单纯形法求解线性规划问题1. 线性规划化标准型线性规划是目标函数与约束函数都为线性函数的一类重要的优化问题2. 单纯形方法从一个基本可行解出发，求得一个使目标函数减少的基本可行解，通过不断改进基本可行解，最终得到最优基本可行解。...

六、线性方程组求解—Gauss消去、Jacobi和Gauss-Seidel迭代求解1.消去法求解原理求解Ax = b，首先对增广矩阵（A|b）进行初等行变换为如下三种矩阵对角阵、上三角阵、下三角阵列主元Gauss消除去法求解线性方程组2. 迭代法求解判断X(k)序列的收敛性，收敛，则G趋于0，x逼近值为g(k)3. Jacobi迭代4. Gauss-Seidel迭代5. 讨论Jacobi和Gauss-Seidel的敛散性即判断ρ(G)<1, 则收敛 其中谱半径为

五、广义逆矩阵–求解线性方程组1. 广义逆矩阵A+为解决各种线性方程组(系数矩阵是非方阵和方阵为奇异)，将逆矩阵的概念推广到"不可逆方阵"和"长方形矩阵"上，从而产生了"广义逆矩阵"有了广义逆矩阵之后，可以给出线性方程组(包括相容的和矛盾的方程组)各种"解"的统一描述！求加号逆的方法有两种：奇异值分解(SVD)、满秩分解(FRD)。其中FRD的实现要简单的多！下面给出用满秩分解求加号逆的定理：2. 加号逆求解线性方程组...

四、矩阵分解—三角分解、满秩分解1. 三角分解–Doolittle分解设 A ∈ Cn×n，如果存在下三角矩阵 L ∈ Cn×n 和上三角矩阵 U ∈ Cn×n 使 得 A = LU，则称 A 可以做三角分解; 其中若L 是对角元素为1的下三角矩阵（单位下三角矩阵），则称该三角分解为 Doolittle 分解（或LU分解）若其前n -1阶顺序主子式均不为0，则A存在Doolittle分解A = LU， 此外，若A非奇异，则分解唯一2. 矩阵分解–满秩分解满秩分解是将非零矩阵分解为一个列满秩

三、特征值分布–盖尔圆、幂迭代1. 盖尔圆列盖尔圆: A与AT的特征值相同，于是由A 的全体特征值都在 AT 的 n 个盖尔圆构成的并集中，同时称 AT 的盖尔圆为 A 的连通盖尔圆： 相交的盖尔圆连通构成的区域，区域内有几个盖尔圆就有几个特征值（1）盖尔圆特征值隔离—结合列盖尔圆（2）盖尔圆特征值隔离—结合相似矩阵，特征值不变特性选取对角阵：D = diag(d1, d2, · · · , dn)，其中di > 0 (i = 1, 2, · · · , n)，则A与B = D^

二、Jordan标准型、 smith标准型、初等因子、不变因子

一、范数、条件数与谱半径1. 谱半径ρ(A) 是矩阵A特征值模的最大值谱半径小于1，矩阵序列{Ak}收敛；谱半径是矩阵范数的下界 ，即 ||A||>= max(λi) = ρ(A)2.矩阵条件数判断矩阵病态与否的一种度量，条件数越大矩阵越病态。对应矩阵的3种范数，相应地可以定义3种条件数： 函数 cond(A)1、cond(A)2以及cond(A)∞病态：对于线性方程组Ax=b，如果A的条件数大，b的微小改变就能引起解x较大的改变，数值稳定性差。如果A的条件数小，b有微小的改变，x的