wydbyxr的博客

累积分布函数（cumulative distribution function）　　对连续函数，所有小于等于a的值，其出现概率的和。 　　F(a)=P(x<=a)

共线性　　何为共线性, 跟过拟合有啥关联? 　　共线性：多变量线性回归中，变量之间由于存在高度相关关系而使回归估计不准确。 　　共线性会造成冗余，导致过拟合。　　解决方法：排除变量的相关性／加入权重正则。log　　数学里面的规矩，通通都是e，特别是在数论里面，基本上不用ln，都用log； 　　g才是10为底。 独立同分布（i.i.d）　　对于图像也是...

微分、差分与变分　　1）微分：是当自变量x变化了一点点（dx）而导致了函数（f(x)）变化了多少。比如，国民收入Y=f(c)，c是消费，那c变化了dc时，会导致Y变化多少呢？变化dY，这就是微分，而dY/dc就是这个单变量函数的导数。把微分dY视为dx的线性函数，那么导数就是这个线性函数的系数：注意，这个视角甚至可以推广到微分流形、泛函，等你以后深入学习到更高的层次就会知道，在这里打个伏笔。 ...

解析解/闭式解　　解析解(analytical solution)就是一些严格的公式，给出任意的自变量就可以求出其因变量，也就是问题的解，他人可以利用这些公式计算各自的问题。 　　解析解也被称为闭式解(closed-form expression)。 比如一元二次方程，其求解公式是Δ，这就是解析解。...

　　混合高斯分布(GMM，Gaussian Mixture Model） 这个时候很显然若使用两个高斯分布来拟合，加上二者的权重效果比单个的高斯分布要好得多！若是不止两个山峰那最好就是再多几个高斯的分布同时来拟合。 ...

归约（Reduce，降维）　　归约是使用解题的”“黑盒”“来解决另一个问题的思维方式。归约让我们理解两个问题间的关系，它是一种技术，用于寻找解决某个问题或它的变形。 　　一个归约简例是从乘法化成平方。设想我们仅能以加、减、平方与除以二等操作，我们可运用此知识并结合下列方程式，以取得任两数的乘积：?a×b= ((a + b)^2- a^2- b^2)/2.　　Map(映射)和Reduce(...

矩阵的迹　　主成分分析 (PCA) 的时候，会需要矩阵的迹。 矩阵的秩　　对上面的线性方程组，第一个方程和第二个方程有不同的解，而第2个方程和第3个方程的解完全相同。从这个意义上说，第3个方程是“多余”的，因为它没有带来任何的信息量，把它去掉，所得的方程组与原来的方程组同解。为了从方程组中去掉多余的方程，自然就导出了“矩阵的秩”这一概念。 　　怎么手工求矩阵的秩？ 　　为了求矩...

凸函数 (convex function)　　一种函数，函数图像以上的区域为凸集。典型凸函数的形状类似于字母U。 严格凸函数只有一个局部最低点，该点也是全局最低点。经典的 U 形函数都是严格凸函数。不过，有些凸函数（例如直线）则不是这样。 　　例如很多常见的损失函数（包括下列函数）都是凸函数：L2 损失函数、对数损失函数、L1 正则化、L2 正则化。 　　两个凸函数的和（例如 L2 损失函...

特征值与奇异值　　两者的主要区别在于：奇异值分解主要用于数据矩阵，而特征值分解主要用于方型的相关矩阵。 　　自相关矩阵正定时，特征值分解是奇异值分解的特例，且实现时相对简单些。特征值和特征向量（本征值和本征向量）　　一矩阵A作用于一向量a，结果只相当与该向量乘以一常数λ。即A*a=λa，则a为该矩阵A的特征向量，λ为该矩阵A的特征值。 　　本征值和本征向量为量子力学术语，对...

排列不变性（permutation invariance）　　指输入的顺序改变不会影响输出的值。 　　例如，f()就有排列不变性 ：

均方根误差（RMSE，root-mean-square error）　　均方根误差为了说明样本的离散程度。 　　做非线性拟合时,RMSE越小越好。标准差与均方根误差：　　标准差是用来衡量一组数自身的离散程度，而均方根误差是用来衡量观测值同真值之间的偏差，它们的研究对象和研究目的不同，但是计算过程类似。 　　S={[(x1-x)^2+(x2-x)^2+……(xn-x)^2]/N}...

箱形图（Box plot）　　又称为盒须图、盒式图、盒状图或箱线图，是一种用作显示一组数据分散情况资料的统计图。因型状如箱子而得名。 　　在各种领域也经常被使用，常见于品质管理。不过作法相对较繁琐。 　　箱形图于1977年由美国著名统计学家约翰·图基（John Tukey）发明。它能显示出一组数据的最大值、最小值、中位数、及上下四分位数。...

概率论基本知识连续型随机变量分布　　常见的连续型随机变量分布包括均匀分布（Uniform Distribution）、指数分布（Exponential Distribution）、正态分布等。离散型随机变量分布　　离散型随机变量分布常见的有伯努利分布（Bernoulli Distribution）、二项分布（Binomial Distribution）、泊松分布（Poisson...

皮亚诺公理　　整个算术规则都是建立在 5 个基本公理基础之上的，这 5 个基本公理被称为皮亚诺公理。皮亚诺公理定义了自然数所具有的特性，具体如下： （1）0是自然数； （2）每个自然数都有一个后续自然数； （3）0不是任何自然数的后续自然数； （4）不同自然数的后续自然数不同； （5）如果集合S包含了数字0，并且包含S中每一个数字的后续自然数，那么集合S就包含了所有的自然数。　　...

学生t-分布（t-distribution）　　即T分布 　　用于根据小样本来估计呈正态分布且方差未知的总体的均值。另外，如果总体方差已知（例如在样本数量足够多时），则应该用正态分布来估计总体均值。 　　t分布曲线形态与n（确切地说与自由度df）大小有关。与标准正态分布曲线相比，自由度df越小，t分布曲线愈平坦，曲线中间愈低，曲线双侧尾部翘得愈高；自由度df愈大，t分布曲线愈接近正态分布曲...

长尾分布　　实际上，在稳定分布家族中，除了正态分布，其他均为长尾分布。 　　 　　长尾分布有什么好处呢？ 　　在处理小样本和一些异常点的时候作用就突显出来了。”...

frobenius范数　　即F范数 　　对应元素的平方和再开方

协方差通俗理解　　可以通俗的理解为：两个变量在变化过程中是同方向变化还是反方向变化？同向或反向程度如何？ “你变大，同时我也变大，说明两个变量是同向变化的，这时协方差就是正的，表示正相关。 　　你变大，同时我变小，说明两个变量是反向变化的，这时协方差就是负的，表示负相关。 　　如果为0，则两者之间没有关系，猥琐不猥琐和女孩子喜不喜欢之间没有关联，就是统计上说的“相互独立”。 ...

多元高斯分布　　在高维空间里，就是多元高斯分布 　　 例如在高维空间里，多元高斯分布并不是沿着均值分布，而是像一个扇贝形状围绕在均值附近，这和人们的主观感受完全不同。在低维空间中建立一个分类器并不难，但是当维度增加时，人类就很难直观的理解了。...

元素乘法　　按元素乘法有时候被称为Hadamard 乘积，或者Schur 乘积 卷积信号与系统等学科中的 　　卷积操作的本质，神经网络中的卷积就是乘累加； 　　信号处理中的卷积就是加权叠加。具体点，平移（无反褶）、叠加。可以看到卷积的重要的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。 楼主这种做法和通常教材上的区别在于：书上...

距离　　任意满足测度的 4 个条件的函数都可以被定义为距离。non-negativity or separation axiom（非负性或分离公理）identity of indiscernibles （不可分辨的同一性）symmetry（对称性）subadditivity or triangle inequality（次可加性或三角不等式）　　参考资料：（wiki） 　　...

几何历史第一阶段　　几何学一开始，就类似今天的人工智能，有很多工程上的应用以及产生的很多定理。 　　不过随后欧几里得将当时主要的平面定理组合以后发现这些定理都可以由5个公理推出来。这是人类历史上很重要的一个里程碑，在很繁复的现象里，他找到了很简单但却很基本的五个公理，从而能将原来的这些公理全部推出来。 　　由于希腊人的工具不够，所以除了二次方程定义的图形（圆形、直线、椭圆等）以外，...

2D平面变换　　2D平面变换包括仿射变换、射影变换等所有2D平面变化 　　参考资料：https://blog.youkuaiyun.com/myarrow/article/details/53709275仿射变换　　仿射变换（affine），即“线性变换”+“平移” 　　仿射变换（Affine Transformation）是空间直角坐标系的变换，从一个二维坐标变换到另一个二维坐标，仿...

流形（manifold）　　流形（manifold）是高维空间中曲线、曲面概念的拓广。我们可以在低维上直观理解这个概念，比如我们说三维空间中的一个曲面是一个二维流形，因为它的本质维度（intrinsic dimension）只有2，一个点在这个二维流形上移动只有两个方向的自由度。 　　同理，三维空间或者二维空间中的一条曲线都是一个一维流形。流形/黎曼流形　　粗浅地说，2维流形就是...

P值　　一个统计指标，许多科学领域中的研究结果的意义均是由P值来判断的。它们被用来证明或驳回一个“零假设”：通常假定所测试的效果并不存在。 　　当P值越小，该实验结果是由纯粹的偶然所造成的可能性就越小。 　　 　　由于样本采集的有限性，他通常只能以小样本数来进行统计平均，不过在这研究的过程中，他发现小样本统计平均结果不满足他一开始认为的高斯分布。为了明白平均数精度与样本数的关系，Goss...