LINC

一、线性代数基本概念的重新理解矩阵：（1）矩阵代表了一种变换，矩阵通过乘法作用于一个N维空间上的点(向量)，使他进行旋转与错切变换（2）矩阵代表了一组向量张成的空间，矩阵的每一行是一个向量，列数是每个向量的维度数据如图，这是由二维向量构成的矩阵 [5,6 ; 7,3] 张成的一个平行四边形的二维空间，也可以理解成该矩阵前面有一个单位矩阵，在途中表现为一个单位方块，该矩阵

1、泰勒展开式泰勒展开式是用多项式来近似表示函数在某点周围的情况。对于一个函数在x=a处的展开式，这个展开式在x=a附近对函数的逼近是最精确的，离a越远，这个公式就越不精确。实际函数值和多项式的偏差称为泰勒公式的余项。2、方向导数和偏导数方向导数（directional derivative）的通俗解释是：我们不仅要知道函数在坐标轴方向上的变化率（即偏导数），而且还

一、最优化：最优化就是给一个函数f(X)，求能使这个函数取得最大值或者最小值的X。对于我们科研中，这个函数肯定是个多维函数了。也就是我们要求一个组值，或者说是求一个向量X={x1,x2,x3,...,xn}，使这个函数的值最大。二、可微、可导、连续可微函数：可微函数是指定义域内各点导数都存在的函数。多元函数可微：多元函数各个元的偏导数都存在的函数。在某点可微：一般来

1、什么是似然函数The likelihood of a set of parameter values, θ, given outcomes x, is equal to the probability of those observed outcomes given those parameter values, that is{\displaystyle {\mathca

1、什么是最小二乘法：最小二乘法（又称最小平方法）是一种数学优化技术。它以误差的平方和为能量函数，通过最小化这个误差平方和，寻找数据的最佳函数匹配。2、通过求一元一次函数的参数来理解最小二乘法优化过程对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合

1、直观介绍模拟退火算法来源于固体退火原理，是一种基于概率的算法，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。它是基于Monte-Carlo迭代求解策略的一种随机寻优算法，其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。模拟退火算法从某一较高初

||w||带一个下标2：意思是这个该向量的范数为欧几里得范数，也叫2-范数，就是向量的长度。设w=, ||w||下标2=x1^2+x2^2+x3^2 的开根号。||w||无任何标：省略下标2，因为2范数最常用，同上。||w||上下都有2：意思是二范数的平方

一、协方差矩阵一个维度上方差的定义：协方差的定义：（a）协方差就是计算了两个维度之间的相关性，即这个样本的这两个维度之间有没有关系。协方差为0，证明这两个维度之间没有关系，协方差为正，两个正相关，为负则负相关。协方差矩阵的定义：对n个维度，任意两个维度都计算一个协方差，组成矩阵，定义如下直观的对于一个含有x,y,z三个维度的样本，协方差矩阵如下可以看出，对角线表示了样本在在各个维度上的方差。其他元...

一 非线性优化中的基本概念(1). 方向导数：函数在自变量的某个方向上的导数。以一个二元函数为例，自变量有x和y，该函数在某一点方向有(x,y)这个向量组成的无穷多个。(2).梯度：梯度是一个矢量，在这个方向上的方向导数达到最大值。某一点的梯度就是某一点方向导数的最大值，也就是从该点出发函数值变化最剧烈的方向（梯度方向代表增加最快的方向，负梯度方向代表减少最快的方向）。梯度的求法即为改点所有方向的...