机器学习基础知识

1.最小二乘法

最小二乘法是一种数学方法,用于曲线拟合.二乘,就是平方,是早年翻译的沿用。当在实验中获得自变量与因变量的一系列对应数据,(x1,y1),(x2,y2),(x3,y3),...(xn,yn)时,要找出一个已知类型的函数,y=f(x) ,与之拟合,使得实际数据和理论曲线的离差平方和:∑[yi-f(xi)]^2（从i=1到i=n相加）为最小。

这种求f(x)的方法，叫做最小二乘法，求得的函数y=f(x)常称为经验公式,在工程技术和科学研究的数据处理中广泛使用，最普遍的是直线(一次曲线)拟合,在现代质量管理上,对散布图的相关分析上也用此法。

2.先验和后验

先验概率(Prior probability)
先验概率是在缺乏某个事实的情况下描述一个变量; 而后验概率是在考虑了一个事实之后的条件概率.  先验概率通常是经验丰富的专家的纯主观的估计. 比如在法国大选中女候选罗雅尔的支持率p,在进行民意调查之前, 可以先验概率来表达这个不确定性。 
后验概率(Posterior probability)
Def: Probability of outcomes of an experiment after it has been performed and a certain event has occured.  
后验概率可以根据通过Bayes定理, 用先验概率和似然函数计算出来。