cqu_peter的博客

今天开始学习 机器学习，将我每次学到的内容做一个笔记，方便以后复习。一、线性回归(一)         什么是线性回归呢，我的理解是已经知道一些数据，根据已知的数据拟合出一条直线（二维空间中）或一个平面（三维空间中）以此类推。用拟合出来的“直线”来预测未知的数据。举一个例子，比如有某家银行给不同人贷款的额度的数据，假设是根据这个人的工资以及年龄判断贷多少钱给这个人。根据这些数据拟合出一个公式，后面...

（一）基础数学知识随机变量的协方差在概率论和统计中，协方差是对两个随机变量联合分布线性相关程度的一种度量。两个随机变量越线性相关，协方差越大，完全线性无关，协方差为零。定义如下。                                                            cov⁡(X,Y)=E⁡[(X−E⁡[X])(Y−E⁡[Y])]当X，Y是同一个随机变量时，X与其自身...

（一）线性可分的情况支持向量机是一个非常经典的二分类算法。假设有一组数据，这组数据由两种类别组成。要画一条直线将其分开，可以有无数条。那这些直线哪条是最好的呢。如果把上面的点想象成地雷，士兵要从他们中间开辟一条道路。这条道路当然是越宽越好了（中线离雷区越远越好）。上面这两张图，明显右边的哪条分界线要好一点。既然要选出离雷区远的边界，那就要计算点到超平面（二维空间下是直线）的距离。超平面的方程为,w...

首先先复习一下要用到的基础的知识：（一）、协方差和方差样本均值：样本方差：样本X和样本Y的协方差：协方差代表了两个变量之间的相关关系，协方差为正时，说明X和Y是正相关关系；协方差为负时，说明X和Y是负相关关系；协方差为0时，说明X和Y是相互独立。Cov(X,X)就是X的方差。当样本是n维数据时，它们的协方差实际上是协方差矩阵(对称方阵)。例如，对于3维数据(x,y,...