qq_41035283的博客

用于衡量两个集合A，B的样本相似度，距离越接近1的两个集合相似度越小：Jaccard(A,B)=1−A∩BA∪BJaccard(A,B)=1 - \frac{A \cap B}{A \cup B}Jaccard(A,B)=1−A∪BA∩B​用于衡量两个向量（样本）之间的相似性：Chi−Square(u,v)=∑i2uiviui+vi,∑iui=∑ivi=1Chi-Square(u,v)=\sum_i\frac{2u_iv_i}{u_i+v_i},\quad \sum_iu_i=\sum_iv_i=

本篇记录余弦距离，汉明距离，测地距离，布雷柯蒂斯距离。

本篇记录一下常用的数据距离度量方法，欧式距离，曼哈顿距离，闵氏距离，切比雪夫距离，马氏距离，兰氏距离。

概率论之 拉普拉斯分布拉普拉斯分布性质代码拉普拉斯分布遵循拉普拉斯分布的随机变量的概率密度函数公式如下：p(x)=12λe−∣x−μ∣λp(x)=\frac {1}{2\lambda}e^\frac{-|x-\mu|}{\lambda}p(x)=2λ1​eλ−∣x−μ∣​形如正态分布，但顶端是一个尖，出现极端值的概率也显著大于正态分布：性质拉普拉斯分布的均值为μ\muμ，方差为2λ22\lambda^22λ2，标准差为2λ\sqrt 2\lambda2​λ图像如下：代码import

数值计算之 共轭梯度法（2）非线性共轭梯度法前言非线性共轭梯度法前言上篇写了线性共轭梯度法，本篇继续非线性共轭梯度法非线性共轭梯度法非线性共轭梯度法：k=0k=0k=0，通过梯度下降法初始化x0,r0=∇f(x0),p0=−r0x_0,r_0=\nabla f(x_0),p_0=-r_0x0​,r0​=∇f(x0​),p0​=−r0​迭代到kkk轮，判断收敛条件，如果不满足则进入第3步通过非精确线搜索计算αk\alpha_{k}αk​xk+1=xk+αkpkx_{k+1}=x_k+\alp

数值计算之 共轭梯度法（1）线性共轭梯度法前言共轭梯度法的引出线性共轭梯度法共轭向量组构造线性共轭梯度流程补充：线性共轭梯度法的简化前言本篇继续无约束优化算法学习，线性共轭梯度法。共轭梯度法的引出回顾之前的牛顿法、拟牛顿法，目的都是寻找迭代方向。牛顿法中的HΔx=JH\Delta x=JHΔx=J，高斯牛顿的JJTp=−JfJJ^Tp=-JfJJTp=−Jf，都涉及到一个解方程组的问题。如果方程组是线性的，则解线性方程组Ax=bAx=bAx=b的问题可以转化为一个优化问题：Ax=b→arg min

数值计算之 线搜索法，Wolfe conditions前言梯度法的步长线搜索法非精确线搜索法Armijo条件Wolfe条件Goldstein条件回溯法后记前言本篇是基于梯度的优化方法的补充篇梯度法的步长梯度下降法、牛顿法、拟牛顿法的主要目的都是求出增量方向。求出增量方向后，如果使用固定步长进行更新，当步长太大导致优化函数与其泰勒展开偏差太大时，可能出现优化函数不降反增的情况，导致迭代不收敛。因此在获得增量方向后，还需要确定迭代的步长。常用的方法是线搜索法。线搜索法线搜索法在求出优化函数f(x)

数值计算之 LBFGS前言拟牛顿法LBFGS算法代码示例后记前言本篇是非线性优化方法中的最后一个部分，LBFGS算法。拟牛顿法上篇记录了拟牛顿法的思路：通过迭代矩阵GkG_{k}Gk​近似海森矩阵Hk−1H_k^{-1}Hk−1​，满足拟牛顿条件：Gk+1(J(xk+1)−J(xk))=xk+1−xkG_{k+1}(J({\bf x}_{k+1})-J({\bf x}_k))={\bf x}_{k+1} - {\bf x}_{k} \\Gk+1​(J(xk+1​)−J(xk​))=xk+1​−

数值计算之 拟牛顿法前言代码示例前言提前先把代码写好了，理论内容稍后添加。（写markdown速度没写python代码快了属于）。代码示例下面是我写的通过拟牛顿法DFP求二元函数极小值的python代码：import numpy as npimport scipy.optimizeimport timeimport mathdef partial_derivate_xy(x, y, F): dx = (F(x + 0.001, y) - F(x, y))/0.001 d

线性代数之 Ax=b反问题的一个特解Ax=bAx=bAx=b的反问题特解Ax=bAx=bAx=b的反问题特解对于矩阵方程Ax=bAx=bAx=b，已知x∈Rn,b∈Rmx\in {\bf R}^n, b\in {\bf R}^mx∈Rn,b∈Rm，求A∈Rm×nA\in {\bf R}^{m\times n}A∈Rm×n，称为Ax=bAx=bAx=b的反问题，具有无数组解。一般我们只需要找到一组特解即可：Ax=bxTx=∣∣x∣∣22bxTxxTx=bbxTxTxx=Ax=bA=bxTxTxAx=

数值计算之 拉格朗日乘子法初探前言等式约束优化等式约束的几何解释不等式约束优化多约束优化KKT条件前言LM算法的置信域方法中，通过在优化函数后添加一个优化量约束来提升迭代过程中的稳定性。拉格朗日乘子法(Lagrange Multiplier Method)是非线性优化中的常用方法，置信域约束实际上就是拉格朗日乘子法的应用。本篇将学习记录拉格朗日乘子法的原理和使用。注意：之所以是初探，是因为我还没有总结过凸优化的基础内容，现在不会深入研究拉格朗日乘子法需要满足的限定条件。等式约束优化对于优化函数

数值计算之 Levenberg-Marquardt算法前言高斯牛顿法LM算法阻尼牛顿法阻尼系数λ\lambdaλ置信域法前言本篇是牛顿法的最后一篇，Levenberg-Marquardt算法，也就是阻尼牛顿法。高斯牛顿法回顾上篇中的高斯牛顿法：f(x0+Δx)=f(x0)+J(x0)Δxmin⁡Δx12∣∣f(x)∣∣2=min⁡Δx12(f(x0)+J(x0)Δx)T(f(x0)+J(x0)Δx)JTJΔx=−JTff({\bf x_0+\Delta x}) = f({\bf x_0}) +

数值计算之 高斯牛顿法前言非线性最小二乘高斯牛顿法牛顿法与高斯牛顿法后记前言昨天写了通过牛顿法计算函数极值，也比较了牛顿法与最速下降法的求解次数与速度。本篇记录高斯牛顿法。高斯牛顿法适合求解最小二乘形式的极值。非线性最小二乘考虑一个非线性标量函数f(x)f({\bf x})f(x)，Rn→RR^n\to RRn→R，其最小二乘估计形式表示为：min⁡x12∣∣f(x)∣∣2\min_x \frac{1}{2}||f({\bf x})||^2xmin​21​∣∣f(x)∣∣2这是一个非线性的

数值计算之 牛顿法与函数极值前言最速下降法牛顿法牛顿法分析代码示例后记前言本篇继续优化理论的算法学习，牛顿法。最速下降法首先回顾上次提到的梯度下降法（其实就是最速下降法）：通过求取多元函数在某个点处的梯度，沿着梯度的反方向前进，直到达到迭代停止条件。对于多元函数（实值向量函数）f(x)f(\bf x)f(x)，其在x0\bf x_0x0​处的泰勒展开可表示为：f(x)=f(x0)+∇f(x0)T(x−x0)+12(x−x0)TH(x0)(x−x0)f({\bf x}) = f({\bf x_0

线性代数之 向量空间几何学（1）前言仿射组合前言本章是线性代数最后一节内容，向量空间与几何学。仿射组合定义仿射组合：对于RnR^nRn中的向量v⃗1,v⃗2…,v⃗n\vec v_1, \vec v_2\dots,\vec v_nv1​,v2​…,vn​，其仿射组合是一种特殊的线性组合，满足y=c1v⃗1+c2v⃗2+⋯+cnv⃗n,c1+c2+⋯+cn=1y=c_1\vec v_1+c_2\vec v_2+\dots +c_n\vec v_n,c_1+c_2+\dots+c_n=1y=c1​v1​

线性代数之 线性变换，正交补与直和前言线性变换正交补与直和后记前言本篇补充一下之前线性代数里的线性变换的含义，以及向量空间的正交补与直和的定义。线性变换之前矩阵乘法的本质中谈到，矩阵乘法的本质是线性变换，但是没有说明什么是线性变换。线性变换类似于函数，实际上就是一种向量的映射关系：给定向量空间V⊂Rn,W⊂RmV\subset R^n,W\subset R^mV⊂Rn,W⊂Rm，对于任意x∈Vx\in Vx∈V，如果存在一个映射T,T(x)=y∈WT,T(x)=y\in WT,T(x)=y∈W，y

数值计算之 梯度下降法（1）函数极值与梯度下降前言微积分基础一元函数的极值，导数与泰勒展开多元函数的泰勒展开梯度下降法梯度方向终止条件代码举例后记前言本篇将开始介绍优化算法。首先是梯度下降法，在最小二乘与深度学习中，都是最常用的最优化求解方法和思想。微积分基础一元函数的极值，导数与泰勒展开对于一元函数f(x)f(x)f(x)而言，当x0x_0x0​满足以下条件时，f(x0)f(x_0)f(x0​)取得极值：f′(x0)=0,f′′(x0)≠0f'(x_0)=0,f''(x_0)\ne 0f′

数值计算之 最小二乘与极大似然估计前言最小二乘法残差建模极大似然估计前言在别的博客上发现了一个比较有趣的看法，就是从概率的角度上把最小二乘法与极大似然估计联系起来。这里记录一下。最小二乘法假设我们使用f(x)f(x)f(x)对系统的观测数据(x1,y1),…,(xn,yn)(x_1,y_1),\dots,(x_n,y_n)(x1​,y1​),…,(xn​,yn​)进行建模，建模结果与观测数据必然存在误差（也叫残差δ\deltaδ）。最小二乘法就是通过调整模型f(x)f(x)f(x)的参数，使残差最

数值计算之 梯度向量，雅可比矩阵，海森矩阵前言梯度向量梯度矩阵雅可比矩阵海森矩阵总结前言非线性最小二乘中的函数求导内容，主要涉及梯度向量、雅可比矩阵和海森矩阵。因此提前做一个辨析。实际上之前在矩阵求导中已经提到过这些内容。梯度向量对于实值向量函数f(x)∈R,x=(x1,x2,…,xn)Tf(x)\in R,x=(x_1,x_2,\dots,x_n)^Tf(x)∈R,x=(x1​,x2​,…,xn​)T，其梯度向量可表示为：∇f(x)=∂f(x)∂x=[∂f∂x1∂f∂x2…∂f∂xn]\nab

数值计算之 最小二乘法（3）最小二乘的矩阵解法前言回顾最小二乘的线性解列满秩矩阵的最小二乘解法Cholesky分解求线性最小二乘解QR分解求线性最小二乘解亏秩矩阵的最小二乘解法SVD分解求亏秩最小二乘解后记前言之前将最小二乘法与线性方程组求解关联，得到了线性最小二乘的矩阵形式，以及线性最小二乘的几何意义。本篇将介绍线性最小二乘的矩阵解法。回顾最小二乘的线性解对于线性超定方程组Ax=b,A∈Rm×n,m>nAx=b,A\in R^{m\times n},m>nAx=b,A∈Rm×n,m&

数值计算之 最小二乘法（2）最小二乘的几何意义前言线性最小二乘解的存在性最小二乘解的几何意义前言上篇中，超定线性方程组Ax=bAx=bAx=b的最小二乘解满足ATAx=ATbA^TAx=A^TbATAx=ATb，当AAA是列满秩矩阵时，x=(ATA)−1ATbx=(A^TA)^{-1}A^Tbx=(ATA)−1ATb。线性最小二乘解的存在性首先要确定的是：对于任何超定的线性方程组Ax=bAx=bAx=b，都是有最小二乘解的。证明：ATAx=ATbrank(ATA,ATb)=rank(AT(A,b

数值计算之 最小二乘法（1）最小二乘计算与矩阵前言最小二乘法与线性方程组最小二乘解与矩阵计算总结前言本篇开启一个非常重要的内容，最小二乘法。它在方程组求解、多视图几何计算、线性优化等方面具有广泛的应用。本节是最小二乘法的第一部分，将最小二乘与线性代数关联。最小二乘法与线性方程组最小二乘法的起源在数值计算拟合法中已经提到过，最小二乘法最早用于数据拟合：arg min⁡f(x)∑i=0n(f(xi)−yi)2\argmin_{f(x)} \sum_{i=0}^n (f(x_i)-y_i)^2f

数值计算之 拟合法之线性拟合，多项式拟合前言最小二乘法多项式拟合线性拟合后记前言拟合法是另一种由采样数据求取潜在函数的方法。插值要求函数必须经过每一个采样节点，而拟合则要求函数与全部节点之间的距离较小。线性拟合和多项式拟合是常用的拟合方法。最小二乘法既然拟合要求函数全局与采样节点相近，那么需要一个函数与节点之间距离的度量，自然而然的想到函数上的点与节点之间的欧氏距离。假设其中一个节点为(x0,y0)(x_0,y_0)(x0​,y0​)，拟合函数为h(x)h(x)h(x)，则节点与拟合函数的距离为：

数值计算之 插值法（6）样条插值前言分段插值存在的问题样条插值三次样条插值样条插值与分段埃尔米特插值的区别后记前言本篇介绍插值法的最后一节，样条插值。分段插值存在的问题采用分段插值可以避免龙格现象，提升插值精度，但是分段插值的结果并不平滑。采用分段三次埃尔米特插值能够使得插值结果在节点附近相对平滑（没有突变点）。但是其平滑性也只是对于一阶导而言的。为了让插值结果具有更好的平滑性，可以使用样条插值。样条插值对于待插值函数f(x)f(x)f(x)，已知节点x0,x1,…,xnx_0,x_1,\do

数值计算之 插值法（5）分段插值，埃尔米特插值前言分段插值分段线性插值分段二次插值埃尔米特Hermite插值埃尔米特插值原理埃尔米特插值公式分段三次埃尔米特插值后记前言之前记录了多项式插值法和龙格现象，以及使用切比雪夫零点插值的方法。本篇讲解分段插值和埃尔米特插值法。分段插值当多项式次数升高时，可能出现龙格现象，插值精度不一定升高。因此，可以将相邻的节点作为一个插值区间，形成多个插值多项式的组合。分段线性插值加入待插值函数f(x)f(x)f(x)有节点(x0,f(x0)),(x1,f(x1)),

数值计算之 插值法（4）切比雪夫零点插值前言插值点选取第一类切比雪夫多项式拉格朗日插值多项式的余项切比雪夫零点插值后记前言上篇插值法讨论了多项式插值的解，以及龙格现象。本篇将介绍一种在抽取节点时有效降低龙格现象的方法——切比雪夫零点插值。插值点选取插值多项式阶数较高时，在取值空间均匀取点，容易出现龙格现象。即区间边缘的插值结果与原函数差异很大，而区间中央的插值结果相对较好。这表明，高阶多项式插值对区间中央的节点拟合好，而对两端节点拟合效果差。自然而然会想到，在两端多采样一些节点，在中间少采样一

数值计算之 插值法（3）多项式插值法的解，范德蒙矩阵，龙格现象前言多项式插值法的解与范德蒙矩阵龙格现象前言上两篇分别是拉格朗日插值法和牛顿插值法。拉格朗日插值的思想是将一个多项式拆分为多个多项式，每个多项式完成一个节点插值。牛顿插值法的思想是一种递推法，当出现新的抽样点时，增量更新一次插值函数。从形式上来看，两种插值法得到的多项式不同，牛顿插值因为使用增量更新，因此计算量相对较小。多项式插值法的解与范德蒙矩阵未知表达式的函数f(x)f(x)f(x)满足y0=f(x0),y1=f(x1),y2=

数值计算之 插值法（2）多项式插值——牛顿插值法拉格朗日插值法牛顿插值的递推差商牛顿插值法拉格朗日插值法上篇指出函数f(x)f(x)f(x)的插值可以用一个多阶多项式P(x)P(x)P(x)表示：P(x)=a0+a1x+a2x2+⋯+anxnP(x)=a_0+a_1x+a_2x^2+\dots+a_nx^nP(x)=a0​+a1​x+a2​x2+⋯+an​xn拉格朗日插值法将一个多阶多项式拆分为多个多阶多项式的和，当出现新的节点值时，需要重新计算各多项式，提升了计算量。牛顿插值法解决了重新计算的

数值计算之 插值法（1）多项式插值——拉格朗日插值法前言什么是插值多项式插值法拉格朗日插值法总结前言移动机器人有一个非常重要的任务，轨迹规划。轨迹规划需要满足运动学原理，即在路径规划给出路点后，必须把路点平滑成光滑的轨迹，才能让机器人循迹移动。平滑的方法可以采用数值计算中的插值法或者拟合法。常用的插值方法可分为多项式插值法和分段插值法，还有一种三角插值法，适用于具有周期的函数插值，但是比较少见。什么是插值插值：假设某个表达式未知的函数f(x)f(x)f(x)，知道它在某些点的取值，求一个有具体表

矩阵分析之 实矩阵分解（5）总结前言特征分解（谱分解）SVD分解LU和PLU分解Cholesky分解（LLT，LDLT分解）满秩分解QR分解使用场景推荐前言之前的四篇内容分别介绍了特征分解，SVD分解，LU和PLU分解，Cholesky分解，满秩分解和QR分解，现在来进行总结。特征分解（谱分解）对于n阶方阵A，如果具有n个线性无关的特征向量，则可以进行特征分解：A=PΛP−1A=P\Lambda P^{-1} A=PΛP−1其中，PPP是AAA的特征向量组成的矩阵，Λ\LambdaΛ是PPP

矩阵分析之 实矩阵分解（4）满秩分解，QR分解前言满秩分解QR分解总结前言之前已经将特征分解、SVD分解、LU和PLU分解、Cholesky和LDLT分解总结了，本次是实矩阵分解的最后一节，包括满秩分解和QR分解。满秩分解对于实矩阵A∈Rm×n,rank(A)=rA\in R^{m\times n},rank(A)=rA∈Rm×n,rank(A)=r，则可满秩分解为：Am×n=Bm×rCr×n,rank(B)=rank(C)=rA_{m\times n}=B_{m\times r}C_{r\ti

矩阵分析之 实矩阵分解（3）Cholesky分解前言Cholesky分解（LLT分解）改进的Cholesky分解（LDLT分解）前言上篇写了LU和PLU分解。对于任意可逆方阵都可以进行LU分解和PLU分解，并且PLU分解的稳定性优于LU分解。本次的Cholesky分解实际上是LU分解的特例。Cholesky分解（LLT分解）当方阵AAA是对称正定矩阵时，可以进行Cholesky分解：A=LLTA=LL^TA=LLTCholesky分解的结果是唯一的。证明：A=L~U,L~是单位下三角矩阵

矩阵分析之 实矩阵分解（2）LU分解前言LU分解分解条件分解方法复杂度PLU分解前言之前提到了特征分解和奇异值分解两种矩阵分解的方法，其中特征分解要求n阶方阵且具有n个线性无关的特征向量；SVD分解对矩阵没有要求，但是分解的速度很慢。为了提升分解的效率，可以使用LU分解法。LU分解分解条件对于可逆方阵AAA，可以将其分解为下三角矩阵LLL和上三角矩阵UUU的乘积：A=LUAx=[l11l21l22l31l32l33]A=LU \\ \quad \\Ax=\begin{bmatrix}l_{

矩阵分析之 实矩阵分解（1）特征分解与奇异值分解前言特征分解（又称谱分解、对角化）奇异值分解SVDSVD的进一步理解前言本篇开始学习记录矩阵分解内容。需要说明的是，目前我所触及的矩阵基本上没有出现复数域，因此所做的讨论都局限于实矩阵分析。特征分解（又称谱分解、对角化）当n阶方阵AAA具有n个线性无关的特征向量时，可以将AAA特征分解为可逆矩阵与对角矩阵的乘积：A=PΛP−1A=P\Lambda P^{-1}A=PΛP−1其中，PPP是对应于Λ\LambdaΛ主对角特征值的特征向量组。特征分解

矩阵分析之 伪逆矩阵，左逆，右逆，广义逆前言伪逆左逆右逆广义逆矩阵前言本篇是对于可逆矩阵的一个扩展。伪逆对于非方阵，或者奇异矩阵而言，没有严格定义上的逆矩阵。为了便于数值计算，定义这些矩阵具有伪逆。左逆对于实矩阵A∈Rm×n,m≥nA\in R^{m\times n},m\ge nA∈Rm×n,m≥n，如果AAA是列满秩矩阵，则存在矩阵Aleft−1A_{left}^{-1}Aleft−1​使得Aleft−1A=EA_{left}^{-1}A=EAleft−1​A=E，称为AAA的左逆。证明：

线性代数之 矩阵求导（4）迹与矩阵求导前言矩阵微分定义矩阵微分计算法则常矩阵线性乘积转置迹通过矩阵微分进行求导常用的矩阵微分后记前言本次将记录如何进行矩阵求导（标量对矩阵）。由于矩阵求导涉及行列式、迹，因此比标量对向量、向量对向量都要复杂一些。矩阵微分定义定义矩阵XXX、实值函数f(X)f(X)f(X)的微分和偏导矩阵：X=[x11x12…x1nx21x22…x2n…………xn1xn2…xnn]dX=[dx11dx12…dx1ndx21dx22…dx2n…………dxn1dxn2…dxnn]∂f(X

线性代数之 矩阵求导（3）标量、向量求导的快速记忆前言基本约定引例标量对标量求导标量对向量求导向量对向量求导包含两个变量的求导总结扩展前言上一次记录了矩阵求导的基本法则和公式，并且大部分给出了基于矩阵乘法的证明（本质证明）。然而这样记忆矩阵求导还是比较困难的。这里给出一种作者使用的快速记忆矩阵求导的方法。注意：该方法仅是作者个人记忆用方法，公式推导并不严格符合数学规范。基本约定默认向量是列向量。只涉及标量对向量，向量对向量的求导。本次矩阵求导默认使用分子布局，即分子不变分母转置。引例标量对

线性代数之 矩阵求导（2）基本法则与公式前言基本约定标量对向量求导基本法则公式标量对矩阵求导基本法则公式后记前言上篇矩阵求导（1）解决了求导时的布局问题，也是矩阵求导最基础的求导方法。现在进入矩阵求导的核心：基本求导法则与基本公式。基本约定本篇只涉及标量对向量、矩阵的求导，默认向量是列向量。标量对向量求导基本法则常数求导：∂c0∂x=0n×1\frac {\partial c_0}{\partial x}=0^{n\times 1}∂x∂c0​​=0n×1常数求导很简单，在此不证明。

线性代数之 矩阵求导（1）布局前言分子和分母布局标量，向量，矩阵函数标量函数向量函数矩阵函数函数求导标量函数求导向量函数求导矩阵函数求导后记前言学机器人真是啥都要掌握呢，线性代数，概率论，泛函，实分析，优化理论，还有编程，仿真…感觉一年半载才能入门。这个栏又要开一个新坑，线性代数，包括矩阵分析，矩阵计算，向量和矩阵的各种性质blabla。基础的线性代数比如矩阵是啥向量是啥就略过了，直接进入与机器学习紧密相关的矩阵求导。分子和分母布局许多矩阵求导解析中都会谈到布局的概念，也就是分子布局分母布局，但

线性代数之 实对称矩阵，正交对角化，二次型与正定矩阵前言实对称矩阵正交对角化二次型正定矩阵实对称矩阵的正定判断条件后记前言终于快到矩阵分解了。在矩阵分解前，最后一个内容是实对称矩阵，二次型和正定矩阵。这三个概念与矩阵分解相关。实对称矩阵对于矩阵A∈Rn×nA\in R^{n\times n}A∈Rn×n，如果AT=AA^T=AAT=A，则称AAA为实对称矩阵。实对称矩阵不同特征值的特征向量正交，n重特征值有n个线性无关的特征向量。因此实对称矩阵必然能够对角化。实对称矩阵是n×nn\times n