Faded

在求解最优化问题时，很多问题的变量会满足一定的约束，其数学形式为$$\min f(\mathbf x) \\ st. \mathbf C(\mathbf x)=0 $$显然，对于带约束问题，我们使用前面的方法进行求解时，一次迭代结束后得到的x很容易不满足约束条件。

如前面所提到的，对于一些问题我们可能需要使用迭代的方法进行求解。迭代求解一般包括三个步骤：确定初值x0x_0确定每次迭代的增量dd进行一次迭代xk+1=xk+dx_{k+1} = x_k + d判断是否收敛或达到最大迭代次数，若没有，返回第二步。常用的迭代方法有梯度下降法，牛顿法，和它们的变种高斯牛顿法、L-M算法。梯度下降法梯度下降法直观的表述如图。图中心代表最低点。梯度下降法的主要思想

##最小二乘问题最小二乘问题是应用最广泛的优化问题，它的一般形式如下：$$\min_x ||r(x)||^2$$我们把r(x)称为残差函数。一个最简单的最小二乘问题就是线性回归问题，对于这个问题的求解可以上一节所说的梯度下降法。###线性最小二乘问题线性最小二乘问题是最简单的最小二乘问题，它的一般形式如下：$$\min_x ||Ax-b||^2$$线性最小二乘问题的求解很容易，令$$h(x) = ||

在求出模型之后，我们往往需要对模型的正确性进行评估。这种正确性取决于许多因素，包括使用的点的数量和精度，匹配准确度，数据点之间的关系等（比如同一条直线附近的几个对应点对求出的单应矩阵可能在垂直于直线的方向就不太准确）。 对模型可靠性的度量常通过计算模型的协方差矩阵来进行，对单应矩阵来说，它的协方差矩阵是一个9×99\times 9的方阵。单幅图像误差两幅图像存在误差

最大似然估计似然函数似然函数是一种关于统计模型中参数的函数，表示模型参数中的似然性。给定观测量x时，关于参数θ的似然函数L(θ)（在数值上）等于给定参数θ后变量x的概率：L(θ)=L(θ|x)=pθ=p(x|θ)=p(x;θ)L(\theta) = L(\theta|x)=p_{\theta} = p(x|\theta)=p(x;\theta)最大似然估计给定一组观

高斯牛顿法使用的条件上一篇中提到了线性最小二乘问题minx||Ax−b||\min \limits_x ||Ax-b||的的标准方程为ATAx−ATb=0A^TAx-A^Tb=0。其中x为n维向量，b为m维向量，A为m×nm\times n的矩阵。从标准方程我们可以求出x的解析解，然而这其实隐含了一个条件，就是rank(A)=n。当A秩亏的时候，rank(ATA)≤rank(A)<nrank(A^T

信赖域方法前面提到了Line Search算法分为两步，首先确定方向，然后确定步长，实际上是假设近似模型在某一方向上可以较好的代表真实模型。Trust region算法则在此基础上，假设在一个选定的可信赖区域中，可以选择一个近似模型较好的代表真实模型，在此基础上，计算迭代增量。信赖域方法的一般形式由上面的表述我们可以得到信赖域方法的几个要素 1. 近似模型mkm_k 2. 可信赖区域Ωk={x∈

线搜索前面提到迭代求解最优化问题的一般形式是xk+1=xk+Δx_{k+1}=x_k+\Delta。事实上我们可以把Δ\Delta分为两个部分：方向和步长。先确定方向，再确定步长的算法称为信赖域算法。它的一般形式为。梯度下降法和牛顿法其实在某种程度上只是确定了下降的方向。而下降的步长还需要我们自己确定。而对于不同的问题下降的步长往往也是不一样的。