x_yz_的专栏

协方差定义       在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。       期望值分别为E(X) = μ 与 E(Y) = ν 的两个实数随机变量X与Y之间的协方差定义为：COV(X，Y)=E[(X-E(X))(Y-E(Y))]，其中，E是期望值。       它也可以表示为：直观上来看，协方差表示的是两个

如有错误，欢迎指正word版证明：Jensen不等式及其证明.docxhttp://download.youkuaiyun.com/detail/x_yz_/5362227

Widrow-Hoff算法（也就是Adaline算法）可用于线性回归，能收敛到最小二乘解，和感知器算法相似。其算法如下：给定训练集S和学习率η∈R+ Widrow-Hoff算法的原始形式： w0←0；b0←0，(xi,1)表示向量 重复 for i=1 to m: (w,b)←(w,b)-η(i>+b-yi)(xi,1) end for 直到收敛条件被满足 返回

这一系列的文章，用以对Variational Methods（变分法），做一个粗浅的入门介绍，主要的描述和依据来源于Bishop的书《pattern recognition and machine learning》   和 Jordan的书《graphical models exponential families and variational inference》，有兴趣的同学可以自行深入研

贝叶斯分类是统计学分类方法。它们可以预测类成员关系的可能性，如给定样本属于一个特定类的概率。贝叶斯定理是就是在给定的数据概率来表示未知的后验概率。比如已知某水果是红色的情况下，判断该水果有多大的概率是苹果，用数学符号表示就是(后验概率)，其中X表示“这个水果是红色的”，H表示“这个水果是苹果”。这个概率我们是不知道的，但是如果我们有大量的水果样本，就可以计算水果样本中的统计信息来逼近这个概率。