也求最小二乘的解

最早接触最小二乘用于回归方程参数求解,方法简单,容易理解,应用广泛。本文简要推导一下最小二乘法的求解过程,原理不做详解,只是求解过程推导,更详细的可网上查阅,最后附参考文章。


1.最小二乘 目标,求J(W)最小值:

J(W)=1/2i=1n(WTxiyi)2

其中,假设样本有n个, D={(xi,yi)}n1 ,权重向量W,特征向量 xi ,目标变量 yi (用于回归,一般为实数)。

2.求最小值,对 W 求导 等于零,以下 侧重 于如何求导,也是本文重点;

3.J(W)涉及 求和,联想到 矩阵的迹,tr(A) = sum( aii ),设:

A=WTx1y1...WTxiyi...WTxnyn

则J(W) = 1/2tr( A2 ),又令A = WTXY (拆开A),其中
X=WTx1...xi...xn,Y=y1...yi...yn

于是有,
dJ(W)dW=d12tr(A2)dW=d12tr((WTXY)2)dW=(WTXY)XT

相当于复合函数求导,令导数等于零,
WTXXT=YXT

最后,求得最小二乘的参数向量:
WT=YXT(XXT)1

4.总结,主要 的是由求和联想到矩阵的迹,然后 用到矩阵求导;

5.最后,还有其他的最小二乘解法,可以自行查找。另,公式编辑器真心难用,可能还不熟悉,有空在整理的好看点。

相关文章:
[1]http://blog.youkuaiyun.com/acdreamers/article/details/44662633
[2]http://www.cnblogs.com/huashiyiqike/p/3568922.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

gerrywhu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值