模式识别机器学习术语

观测样本x

回归函数y(x, w)=w0 + w1 *x + w2 * x^2 + ... wm * x^m

 

虽然是关于x的高次多项式， 但仍被称作线性回归。 因为对于已有样本来讲， x都是已知的， wi是未知的， 所求也是wi

 

使用E(w) = 1/2 * sigma((y(xn, w) - tn)^2) 作为误差函数。 tn为xn的理论回归值， y(xn, w)为xn在w下的回归值， 二者差值的平方和的一半作为误差函数

 

模型选择： 确定m的大小

 

记得有些材料中提到模型过于复杂， 虽然会使得和样本拟合的非常好， 但对于未知样本分类效果差， 称作过拟合。 多种模型都合适时， 采用越简单的模型越好

 

10个样本点， 当m取值为10时必定存在一个函数能完全拟合。 m为10时，也称作该多项式的自由度为10 ？ 10 degrees of freedom ?

 

有些提倡是： 样本点的个数不应超过参数个数的5倍， 5到10倍之间。 即当有20个样本点时， M的取值大约在[2, 4]之间

 

避免过拟合的一种做法是， 在评估E(w)的过程中， 增加惩罚值w因素， 新的E(w)定义如下：

E'(w) = E(w) + c * |w|^2,  w为(w0, w1,,, wm)

 

 

概率：

sum       rule:  p(x) = sigma(p(x, yi))， 或者积分

product rule:  p(x, y) = p(y|x) * p(x)    p(x, y)称为联合概率，XY取值为xy时的概率。 p(y|x)称为联合概率， 当X为x时，Y取值为y的概率