AndrewNg - 线性回归【2】正规方程组

AndrewNg - 线性回归【2】正规方程组

---

梯度下降法是用来计算$J(\theta)$的惯用方法之一，不过通常我们可以通过另一途径取代这种迭代算法。这样思考，如果我们直接对$J$求$\theta$的导数并使其为0，如果可以直接解出$\theta$那不是爽歪歪。

---

1.矩阵求导

对于函数$f\ :\ \mathbb{R}^{m\times n}\mapsto\mathbb{R}$，即从$m\times n$矩阵映射到实数的$f$，定义$f$对于$A$的导数为：

$$\nabla_Af(A)=\begin{bmatrix} \frac{\partial}{\partial A_{11}}&\cdots&\frac{\partial}{\partial A_{1n}} \\ \vdots&\ddots&\vdots \\ \frac{\partial}{\partial A_{m1}}&\cdots&\frac{\partial}{\partial A_{mn}} \\ \end{bmatrix}$$
举个栗子，假如$A=\begin{bmatrix}A_{11}&A_{12}\\A_{21}&A_{22}\end{bmatrix}$，$f(A)=\frac{3}{2}A_{11}+5A_{12}^2+A_{21}A_{22}$：

$$\nabla_Af(A)=\begin{bmatrix}\frac{3}{2}&10A_{12}\\A_{22}&A_{21}\end{bmatrix}.$$
同时我们还要引进一个迹的概念：$trA=\sum_{i=1}^{n}A_{ii}$。当矩阵$A、B、C、D$满足一些简单的条件时，他们的迹有一些性质值得一提：
$$\begin{align} &(1)trAB=trBA,\\ &(2)trABC=trCAB=trBCA,\\ &(3)trABCD=trDABC=trCDAB=trBCDA,\\ &(4)trA=trA^T,\\ &(5)tr(A+B)=trA+trB,\\ &(6)traA=atrA. \end{align}$$
而相应的，矩阵求导和迹结合起来还有一些性质：
$$\begin{align} &(1)\nabla_AtrAB=B^T,\\ &(2)\nabla_{A^T}f(A)=(\nabla_Af(A))^T,\\ &(3)\nabla_AtrABA^TC=CAB+C^TAB^T,\\ &(4)\nabla_A|A|=|A|(A^{-1})^T \end{align}$$

2.换个角度看最小二乘

---

给定一组训练集，定义矩阵$X$为$m*n$阶的矩阵（实际上算上$\theta_0$截距是$m*n+1$阶），每行是一个训练样例：

$$X=\begin{bmatrix} ——&(x^{(1)})^T&—— \\ ——&(x^{(2)})^T&—— \\ &\vdots& \\ ——&(x^{(m)})^T&—— \\ \end{bmatrix}$$
同时$\vec{y}$是$X$对应的m维样本分类结果向量：
$$\vec{y}=\begin{bmatrix} y^{(1)}\\ y^{(2)}\\ \vdots \\ y^{(m)}\\ \end{bmatrix}$$
所以根据上一节我们有$h_\theta(x^{(i)})=(x^{(i)})^T\theta$，即：
$$\begin{align} X\theta-\vec{y} &=\begin{bmatrix} (x^{(1)})^T \\ (x^{(2)})^T \\ \vdots \\ (x^{(m)})^T \\ \end{bmatrix}-\begin{bmatrix} y^{(1)}\\ y^{(2)}\\ \vdots \\ y^{(m)}\\ \end{bmatrix}\\ &=\begin{bmatrix} h_\theta(x^{(1)})-y^{(1)}\\ h_\theta(x^{(2)})-y^{(2)}\\ \vdots \\ h_\theta(x^{(m)})-y^{(m)}\\ \end{bmatrix} \end{align}$$
因为有$z^Tz=\sum_iz_i^2$，所以：
$$\frac{1}{2}(X\theta-\vec{y})^T(X\theta-\vec{y})=\frac{1}{2}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2=J(\theta).$$
那么现在我们要干的一件事，就变成了最小化$J$（求导取导数为0）：
$$\begin{align} \nabla_\theta J(\theta)&=\nabla_\theta\frac{1}{2}(X\theta-\vec{y})^T(X\theta-\vec{y})\\ &=\frac{1}{2}\nabla_\theta(\theta_TX^TX\theta-\theta_TX^T\vec{y}-\vec{y}^TX\theta+\vec{y}^T\vec{y})\\ &=\frac{1}{2}\nabla_\theta tr(\theta_TX^TX\theta-\theta_TX^T\vec{y}-\vec{y}^TX\theta+\vec{y}^T\vec{y})\\ &=\frac{1}{2}\nabla_\theta(tr\theta_TX^TX\theta-2tr\vec{y}^TX\theta)\\ &=\frac{1}{2}(X^TX\theta+X^TX\theta-2X^T\vec{y})\\ &=X^TX\theta-X^T\vec{y} \end{align}$$
另$\nabla_\theta J(\theta)=0$则有$X^TX\theta=X^T\vec{y}$即$\theta=(X^TX)^{-1}X^T\vec{y}$（注意：这里其实还有一个巧妙的地方就是$X^TX$是可以写成$\langle x_i,x_j\rangle$这样的形式，也就意味着这里可以使用核函数计算）。
至此，我们没有使用任何的迭代过程却求出了$\theta$，是不是很爽！不过为什么这样的回归问题我们要选择使用最小二乘法作为我们的$cost\ function\ J$呢，欲知后事如何，且听下回分晓！