也求最小二乘的解

最早接触最小二乘用于回归方程参数求解，方法简单，容易理解，应用广泛。本文简要推导一下最小二乘法的求解过程，原理不做详解，只是求解过程推导，更详细的可网上查阅，最后附参考文章。

---

1.最小二乘 目标，求J(W)最小值：

$${\rm{J}}(W) = 1/2\sum\limits_{i = 1}^n {{{({W^T}{x_i} - {y_i})}^2}}$$
其中，假设样本有n个， $D = \{ ({x_i},{y_i})\} _1^n$ ，权重向量W，特征向量 ${x_i}$，目标变量 ${y_i}$ (用于回归，一般为实数)。

2.求最小值，对 W 求导 等于零，以下 侧重 于如何求导，也是本文重点；

3.J(W)涉及 求和，联想到 矩阵的迹，tr(A) = sum(${{a_i}_i}$)，设：

$$A=\left[ \begin{matrix} {{W}^{T}}{{x}_{1}}-{{y}_{1}} & {} & {} & {} & {} \\ {} & ... & {} & {} & {} \\ {} & {} & {{W}^{T}}{{x}_{i}}-{{y}_{i}} & {} & {} \\ {} & {} & {} & ... & {} \\ {} & {} & {} & {} & {{W}^{T}}{{x}_{n}}-{{y}_{n}} \\ \end{matrix} \right]$$
则J(W) = 1/2tr( ${A^2}$)，又令A = ${W^TX-Y}$ (拆开A)，其中 $$X={{W}^{T}}\left[ \begin{matrix} {{x}_{1}} & {} & {} & {} & {} \\ {} & ... & {} & {} & {} \\ {} & {} & {{x}_{i}} & {} & {} \\ {} & {} & {} & ... & {} \\ {} & {} & {} & {} & {{x}_{n}} \\ \end{matrix} \right],Y=\left[ \begin{matrix} {{y}_{1}} & {} & {} & {} & {} \\ {} & ... & {} & {} & {} \\ {} & {} & {{y}_{i}} & {} & {} \\ {} & {} & {} & ... & {} \\ {} & {} & {} & {} & {{y}_{n}} \\ \end{matrix} \right]$$
于是有， $$\frac{dJ(W)}{dW}=\frac{d\frac{1}{2}tr({{A}^{2}})}{dW}=\frac{d\frac{1}{2}tr({{({{W}^{T}}X-Y)}^{2}})}{dW}=({{W}^{T}}X-Y){{X}^{T}}$$
相当于复合函数求导，令导数等于零， $${{W}^{T}}X{{X}^{T}}=Y{{X}^{T}}$$
最后，求得最小二乘的参数向量： $${{W}^{T}}=Y{{X}^{T}}{{(X{{X}^{T}})}^{-1}}$$

4.总结，主要 的是由求和联想到矩阵的迹，然后 用到矩阵求导；

5.最后，还有其他的最小二乘解法，可以自行查找。另，公式编辑器真心难用，可能还不熟悉，有空在整理的好看点。

相关文章：
[1]http://blog.youkuaiyun.com/acdreamers/article/details/44662633
[2]http://www.cnblogs.com/huashiyiqike/p/3568922.html