tyli__的博客

文章目录一维搜索方法+多维牛顿法黄金分割法二分法牛顿法（用于求解方程）割线法牛顿法（高维——用于最优化）算法过程一维搜索方法+多维牛顿法​ 寻找一元函数的极值点的迭代求解方法。迭代算法从初始搜索点x(0)x^{(0)}x(0)出发，产生一个迭代序列x(1)x^{(1)}x(1)，x(2)x^{(2)}x(2)，…。通过当前迭代点x(k)x^{(k)}x(k)和目标函数fff构建下一个迭代点x(...

文章目录梯度方法梯度下降法原理算法过程最速下降法应用到二次型函数梯度方法收敛性分析最速下降法收敛性定理步长固定梯度法收敛性定理收敛率梯度方法梯度下降法——一阶优化方法，用于求解无约束最优化问题。选取适当的初始值x(0)x^{(0)}x(0)，并不断向负梯度方向迭代更新xxx，实现目标函数的极小化，直到收敛。当目标函数是凸函数的时候，梯度下降法可以确保找到全局最优解，否则不一定能找到全局最优解...

文章目录共轭方向法基本的共轭方向算法算法过程共轭梯度法算法过程非二次型的共轭梯度法共轭方向法共轭方向法的收敛速度介于最速下降法和牛顿法之间。对于n维二次型问题，能够在n步之内得到结果；作为共轭方向法的典型代表，共轭梯度法不需要计算黑塞矩阵；两次搜索方向之间是共轭的。对于所有的i≠ji\neq ji̸​=j，有d(i)TQd(j)=0d^{(i)T}Qd^{(j)}=0d(i)TQd...

文章目录拟牛顿法黑塞矩阵逆矩阵的近似秩1修正公式秩1算法过程DFP算法BFGS算法拟牛顿法基本思路：为了避免F(x(k))−1F(x^{(k)})^{-1}F(x(k))−1这种矩阵求逆运算，可以通过设计其近似矩阵来代替。x(k+1)=x(k)−αHkg(k)x^{(k+1)}=x^{(k)}-\alpha H_kg^{(k)}x(k+1)=x(k)−αHk​g(k)拟牛顿法的迭代公...

文章目录求解线性方程组最小二乘分析递推最小二乘算法线性方程组的最小范数解一般意义下的线性方程组的求解满秩分解伪逆求解线性方程组最小二乘分析考虑线性方程组：Ax=bAx=bAx=b若bbb不属于矩阵AAA的值域空间，则称该方程是矛盾的或过定的。在这种情况下，方程组无解。求解该方程就变成了寻找一个（组）向量xxx，使得∣∣Ax−b∣∣2||Ax-b||^2∣∣Ax−b∣∣2达到最小。如...