最早接触最小二乘用于回归方程参数求解,方法简单,容易理解,应用广泛。本文简要推导一下最小二乘法的求解过程,原理不做详解,只是求解过程推导,更详细的可网上查阅,最后附参考文章。
1.最小二乘 目标,求J(W)最小值:
J(W)=1/2∑i=1n(WTxi−yi)2
其中,假设样本有n个, D={(xi,yi)}n1 ,权重向量W,特征向量 xi ,目标变量 yi (用于回归,一般为实数)。
2.求最小值,对 W 求导 等于零,以下 侧重 于如何求导,也是本文重点;
3.J(W)涉及 求和,联想到 矩阵的迹,tr(A) = sum( aii ),设:
A=⎡⎣⎢⎢⎢⎢⎢⎢WTx1−y1...WTxi−yi...WTxn−yn⎤⎦⎥⎥⎥⎥⎥⎥
则J(W) = 1/2tr( A2 ),又令A = WTX−Y (拆开A),其中
X=WT⎡⎣⎢⎢⎢⎢⎢x1...xi...xn⎤⎦⎥⎥⎥⎥⎥,Y=⎡⎣⎢⎢⎢⎢⎢⎢y1...yi...yn⎤⎦⎥⎥⎥⎥⎥⎥
于是有,
dJ(W)dW=d12tr(A2)dW=d12tr((WTX−Y)2)dW=(WTX−Y)XT
相当于复合函数求导,令导数等于零,
WTXXT=YXT
最后,求得最小二乘的参数向量:
WT=YXT(XXT)−1
4.总结,主要 的是由求和联想到矩阵的迹,然后 用到矩阵求导;
5.最后,还有其他的最小二乘解法,可以自行查找。另,公式编辑器真心难用,可能还不熟悉,有空在整理的好看点。
相关文章:
[1]http://blog.youkuaiyun.com/acdreamers/article/details/44662633
[2]http://www.cnblogs.com/huashiyiqike/p/3568922.html