fb_help的专栏

线性最小二乘问题线性最小二乘是一种求解线性系统参数的方法，即参数估计的方法。它的特点有：需要已知参数与观察量之间的线性函数关系存在多余观测线性最小二乘原理线性关系对于一个参数估计问题，我们往往不能直接获得想要的参数值，需要通过间接观测的方式去反向求解。例如：为了确定一辆车的平均速度，我们不能直接测量得到，我们是间接的借助单位时间内的路程，以及时间来反算速度。为了获得我在世界上的GPS位置，我们总是间接的借助卫星的位置，以及卫星到我们的距离来推算我们当前的位置。可以看到很多很多问题

数学画图工具https://www.desmos.com/calculator

Ceres实践Ceres是最小二乘优化库．对于一个最小二乘优化问题，我们其实在求： min 0.5*||f(x)||2其中f(x)是残差z-f(x)或称之为代价函数再或称观测误差（无偏的假设下），f(x)可以是线性或非线性．所以只需定义优化变量，和每个代价函数，再调用Ceres进行求解．实例：取自（slambook)#include <iostream>#include &l...

最大后验与最大似然P(x|z) = P(z|x)P(x)/P(z) ~ P(z|x)P(x)贝叶斯法则左侧P(x|z)通常被称为后验概率，右侧P(z|x)称为似然，P(x)称为先验．直接求后验分布是困难的，但是求一个状态最优估计，使得在该状态下后验概率最大化（MAP)则是可行的．xmap = arg maxP(x|z) = arg maxP(z|x)P(x)求解最大后验概率相当于最大...

非线性最小二乘非线性最小二乘问题是求解目标参数Ｘ的最优值的方法．关键要素：1.　要有待优化的参数X2.　要知道参数与估计值的函数关系．f(X)3.　要有观测数据Z4.　待优化参数的初值X05. 待优化参数的范围(可选)一般形式：非线性优化与非线性最小二乘非线性最小二乘问题，可以转化为非线性优化问题．解非线性最小二乘需要非线性优化算法．非线性优化算法最通用的方法是梯度下降．非...

参数估计问题参数估计问题其实是在求参数的最大似然估计，当残差服从正太分布时，最大似然估计等价于最小二乘估计．最小二乘估计遵循的准则是残差平方和最小：个人比较喜欢写成这种形式：0.5||Zi-f(Xk)||2...

非线性优化非线性优化与最小二乘的关系见：非线性最小二乘非线性优化问题又有那些要素呢非线性优化一般采用迭代的方法，认为估计问题是一个凸函数(初值很重要)，通过迭代增量参数X，不断使残差平方和最小．直到，增量Ｘ小到一定程度(因为假设凸函数，凸函数在接近极值的地方，导数很小）时，或达到迭代次数时，结束．（注：迭代停止跟整个残差平方的值达到什么程度无关）增量DX添加一个增量使得||f(Xk+DX...