努力努力努力

高斯白噪声（white Gaussian noise，WGN）

一般的理解，最小二乘法是以误差的“平方和”最小为目标去计算最优近似解的方法。但要理解其本质，我们还需要从最大似然估计说起。一、最大似然估计(Maximize Likelihood Estimation, MLE)首先我们来认识一下似然函数，似然函数是统计模型中关于参数的函数，被记为，是给定联合样本，求解关于参数值的函数。其表达式如下：这里等式右边是一个概率密度函数，但似然函数和概率密度函数不同之处在于似然函数是在给定联合样本的取值，求解参数值为 的概率，是关于 的函数。所以我们说它们的.

一、麦克劳林公式对于一些复杂的函数, 要研究其性质往往是比较困难的. 而多项式函数的性质往往比较简单, 所以有时候, 为了方便研究, 我们可能会想着: 能不能用一个多项式函数去近似一个复杂的函数?可以看到, 在x=0这一点上, 两个函数的值都是1, 但在x=0的邻域, 这两个函数的图像一点都不相似, 所以这个近似效果一般...那如何让近似效果更好一些呢, 可以想到, 不妨用导数试试. 导数可以反应函数在某一点的变化率, 如果两个函数在x=0处, 除了y值相同, 变化率也相同, 那两个..

本文基于下面的博客，结合自己第一次看的时候的一些问题，重新梳理总结一下https://blog.youkuaiyun.com/wsj998689aa/article/details/41558945一：什么是最小二乘二：什么是线性最小二乘三：如何求解线性最小二乘这个具体的证明过程参考下面这篇博客，我就不当搬运工了：https://blog.youkuaiyun.com/u013007900/article/details/45933435四：什么是非线性最小二乘..

最优化理论·非线性最小二乘https://blog.youkuaiyun.com/hltt3838/article/details/118312440最快下降法理解： a*b = |a|*|b|*cos()最小二乘问题通常的最小二乘问题都可以表示为：GaussNewtonLM阻尼最小二乘法Dog-Leg最小二乘法举例Gauss Newton代码：double func...

1. 什么是最小二乘问题目标函数能够写为m个函数平方和的优化问题2. 非线性最小二乘问题理解：...

一、线性代数的入门知识（一）矩阵1、矩阵的表示在中学的时候，我们会经常看到这样子的方程组：看到这样子的方程组，不由感到十分怀念。不过有没有这种感想，当年解三元一次方程组的时候，特别烦，消元后要抄一遍，代入后又抄一遍，特别麻烦。于是数学家发明了矩阵，把方程组中所有系数写到了一个框里面，把所有未知数写到第二个框里，把所有等式右边的值写到第三个框里。比如方程组(1)也可表示为：观察(2)式不难发现，复杂的方程组用矩阵表示后，还是很复杂，所以可以把(2)式更加简洁...

一、均值均值是表示一组数据集中趋势的量数，是指在一组数据中所有数据之和再除以这组数据的个数。它是映数据集中趋势的一项指标。均值和标准差是描述数据集中趋势和离散程度的两个最重要的测度值。二、方差，标准差方差（variance)是 衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是各个数据分别与其平均数之差的平方的和的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。方差是衡量源数据和期望值相差的度量值

一、PID算法基本原理PID算法是控制行业最经典、最简单、而又最能体现反馈控制思想的算法。对于一般的研发人员来说，设计和实现PID算法是完成自动控制系统的基本要求。PID，就是对输入偏差进行比例积分微分运算，运算的叠加结果去控制执行机构。其中调节器就是人的大脑，就是一个调节系统的核心。任何一个控制系统，只要具备了带有 PID的大脑或者说是控制方法，那它就是自动调节系统基本的调节器具有两个输入量：被调量和设定值：被调量就是反映被调节对象的实际波动的量值（变化），设定值就是人们设定的值，也就是人们期望.

1. 积分基本概念设F(x)为函数f(x)的一个原函数，我们把函数f(x)的所有原函数F(x)+C（C为任意常数）叫做函数f(x)的不定积分(indefiniteintegral)。非线性微分方程:在有限的时间间隔Δt积分:连续时间内积分:工程上最常见的有三种：欧拉积分（Euler method）、中值积分（Midpoint method）和龙格－库塔法积分（Runge–Kutta methods）。他们的区别就是如何用数值方法模拟一个斜率。这里简单总结如下：...

一、相关概念1、真实值actual value和预测值predicted value这两者就是字面的意思，actual value是指真实记录的已发生的测量结果值，而predicted value是指对未发生的预测值。这里的值既可以是数值型，也可以是类别型。2、真True、假False这两个表示的是真实值与预测值之间是否吻合，true表示的是预测值与真实值一致，而false表示的是预测值与真实值不一致。3、阳性Positive（正）、阴性Negative（负）首先这里讨论的posit

场景在规则制定时，面对连续型变量，往往需要选取一个阈值，用以界定好坏客户，比如：这个10就是我们需要事先给定的一个值，那是根据什么来定10，而不是9,8,11,15等其他值。原理假定目前已经有一定的样本数据：根据“3个月多头数”、“是否坏客户”整理后如下：现在我们可以设定一个值k∈(0,n)，k为整数，将3个月多头数分成2个部分[0,k)和[k,n]。因此上表可以转换成2分表（如下表）。这样，就可以通过卡方检验来测试：“3个月多头数（k临界值）”与“客户好坏”..

三维刚体变换模型（即旋转/平移矩阵，RT矩阵）的估计方法原理简单阐述：只要算出变换矩阵，就可以算出A坐标系的一个点P在坐标系B里的对应点坐标，即T为3x3的转换矩阵， t 为3x1的位移变换向量，这里点坐标均为3x1的列向量（非齐次形式，齐次形式下为4x1列向量，多出的一个元素值补1而已）。理论上只要给定至少3对点，就能计算出 T 和 t 。自然的，点对越多，计算出来的转换就越精确。详细的原理请参考《Estimating 3-D Rigid Body Transformations: A Co

一、二进制与十进制之间的转换十进制转二进制方法为：十进制数除2取余法，即十进制数除2，余数为权位上的数，得到的商值继续除2，依此步骤继续向下运算直到商为0为止。（具体用法如下图）二进制转十进制方法为：把二进制数按权展开、相加即得十进制数。（具体用法如下图）二、二进制与八进制之间的转换二进制转八进制方法为：3位二进制数按权展开相加得到1位八进制数。（注意事项，3位二进制转成八进制是从右到左开始转换，不足时补0）。（具体用法如下图）八进制转成二进制方法为：..

一、理论四元数欧拉角欧拉角有两种：静态：即绕世界坐标系三个轴的旋转，由于物体旋转过程中坐标轴保持静止，所以称为静态动态：即绕物体坐标系三个轴的旋转，由于物体旋转过程中坐标轴随着物体做相同的转动，所以称为动态使用动态欧拉角会出现万向锁现象；静态欧拉角不存在万向锁的问题。一个典型的万向锁问题可以表述如下：先仰45°再俯90°，这与先俯90°再仰45°是等价的。事实上，一旦选择±90°作为俯角，就会导致第一次旋转和第三次旋转等价，整个旋转表示系统被限制在只能绕竖直轴旋转，.

预备知识1》求解数学期望2》数学期望的性质一、正态分布正态分布（Normal distribution）又名高斯分布（Gaussiandistribution），若随机变量X服从一个数学期望为μ、方差为σ^2的高斯分布，记为N(μ，σ^2)；其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。我们通常所说的 标准正态分布是 μ = 0,σ = 1的正态分布； 详细解释如下：均值方差二、卡方分布若n个 相互独立 ...

重点参考：https://www.cnblogs.com/jiangxinyang/p/9378535.html

贝叶斯估计数学概念

一、定义1.1 特点马氏距离具有以下特点：马氏距离不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关，即独立于测量尺度。采用数据预处理中的标准化和中心化等方法所获得的马氏距离相同； 马氏距离具有放大变化微小的变量的作用，这对于化学指纹图谱的分析而言是有利的特点； 马氏距离在计算中考虑了各自变量之间的线性相关关系，因此可以排除变量之间相关性的干扰； 马氏距离可用于鉴别离群值。一个马氏距离较大的样本必然是一个离群值； 应用马氏距离的前提是各自变量均应符合正态分布。马氏距离与欧氏

1. 定义2. 判定正定矩阵3. 负定、半正定及不定矩阵

1. 定义2. 分解方法3. Matlab求解

1. 特征值与特征向量2. SVD奇异值分解2.1 SVD定义wiki：https://zh.wikipedia.org/wiki/%E5%A5%87%E5%BC%82%E5%80%BC%E5%88%86%E8%A7%A32.2 SVD理解Ref：https://zhuanlan.zhihu.com/p/298460483. 计算举例4. SVD性质...

1. 分类矩阵分解（decomposition,factorization）是多半将矩阵拆解为数个三角形矩阵（triangular matrix），依使用目的的不同，可分为几类。与线性方程解法相关的矩阵分解LU分解 奇异值分解 QR分解 极分解 特征分解2. LU分解在线性代数与数值分析中，LU分解是矩阵分解的一种，将一个矩阵分解为一个下三角矩阵和一个上三角矩阵的乘积，有时需要再乘上一个置换矩阵。LU分解可以被视为高斯消元法的矩阵形式。在数值计算上，LU分解经常被用来解线性方程组.

1.逆矩阵注意：非奇异矩阵与以下命题等价：1.1 求法1：伴随矩阵补充：代数余子式求法实例：矩阵行列式：行列式计算：1.2 求法2：初等变换矩阵初等变换操作：1.3逆矩阵性质1.4 扩展：广义逆矩阵2. 稀疏矩阵2.1 定义2.2 计算方法3.正交矩阵...

简介：基于互信息的图像配准算法以其较高的配准精度和广泛的适用性而成为图像配准领域研究的热点之一，而基于互信息的医学图像配准方法被认为是最好的配准方法之一。基于此，本文将介绍简单的基于互信息的图像配准算法。预备知识熵熵（entropy）是信息论中的重要概念，用来描述系统不确定性的测度，反映一个系统本身所能提供的信息总量。除去枯燥的概念，信息熵的数学表达式为：当然，对于一幅图像来说，其熵的计算表达式如下：hi表示图像Y中灰度值为i的像素点总数...

在数学最优问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。此方法的证明牵涉到偏微分，全微分或链法，从而找到能让设出的隐函数的微分为零的未知数的值。拉格朗日乘数法是用来求条件极值的，极值问题有两类：