qq_40725653的博客

最近和工作的师兄闲聊时，突然被问到当时学习PCA时计算协方差，其中计算样本方差时为什么除以n-1就是无偏估计了，为什么不是n。当时感觉不就是公式是这样吗？定义就这样啊。然后被建议回去再看看原理每个参数的概念，后来找了找，发现是自己对样本方差，总体方差等基础概念的不理解。首先介绍几个基本概念：nnn：样本数量xˉ\bar{x}xˉ：样本的均值uuu：总体真实均值σ2\sigma^2σ2：真实样本方差S2S^2S2：样本实际计算时方差下面举一个栗子来描述下几个参数之间的关系。假设我们要统计全地球男

在过拟合问题与特征选择问题上，正则化都扮演着一个举足轻重的角色。那么随着而来就会有两个问题什么是正则，为什么需要正则？正则化通过对目标函数添加一个参数范数惩罚，进而来限制模型的学习能力，如j(θ:,x,y)j(θ:,x,y)j(θ:,x,y)为目标函数，我们添加一个惩罚项Ω(θ)Ω(θ)Ω(θ),即我们将一个无约束的目标函数转化为了带有约束的目标函数，j‘(θ:x,y)=j(θ:,x,y)+αΩ(θ)j^`(θ:x,y)=j(θ:,x,y)+αΩ(θ)j‘(θ:x,y)=j(θ:,x,y)+αΩ(θ),相

谈起约束优化性问题，高数精湛的话拉格朗日肯定会脱口而出。在看论文以及学习中遇到了拉格朗日乘子，这里简单的对拉格朗日乘子法及其对偶问题进行一个简单的推论与总结。自我感觉，拉格朗日乘子法核心思想就是：将带有约束性的优化性问题转变成无约束的优化问题，进行我们可以利用后续的求导来计算相应的解，再反代入约束求其符合条件的解Lagrange一：无约束的优化问题目标函数：minf0(x)minf_0(x)minf0​(x)求解方式：直接求导，根据目标函数的凹凸性求解极值(最优)问题二：带有等式约束项的优化问题

机器学习中的信息熵熵的基本概念信息量信息熵香农公式二项分布(伯努利分布)熵常见熵的概念互信息 I(X,Y)条件熵联合熵三者之间的关系熵的基本概念信息量​ 公式：I = -log(p(xix_ixi​)) （bit/比特）​ 借用课本上的例子，信息量的大小就是消除一件事情的不确定程度。也就是说(例如)一句话说阐述的事情发生的可能性越大，那么这句话所包含的信息量就越小。小明告诉小白：“明天太白打东边升起”，其信息量为：I = -log(1) =0,这句话就是句

马氏距离由来： 马氏距离是由印度统计学家马哈拉诺比斯提出的，表示数据的协方差距离。是一种基于样本分布式的距离，能够很好地展现样本之间的相似度。实例由上图所示，存两个准正态分布区间，均值分别为a,b。现在我们以欧氏距离度量准则考虑：A点明显更加趋近于b区间，因此A点应该被划分为b类。但目前常用的欧氏距离具有不少的局限性。如：缺少对不同量纲的考虑，没有考虑数据之间的相关性(期望，方差...)但如今我们采用马氏距离角度来考虑数据的分布情况，A点属于a类的概率明显远大于属于b类的概率，换句话说就是属