多特征线性回归

有多个特征的线性回归就是我们常说的多变量线性回归。我们先申明一些数学标记的含义：

$x_j^{(i)}$代表第i个样本中第j个特征
$x^{(i)}$代表第i个样本的所有特征
$m$代表训练样本个数
$n$代表特征个数

模型的多变量形式如下：

$$h_\theta(x) = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + \cdots+ \theta_n x_n$$
为了便于理解，我们可以抽象一种情形，$\theta_0$代表房屋的基本价格，$\theta_1$代表每平米的价格，$\theta_2$代表每层的价格，$x_1$代表房屋面积，$x_2$代表房屋层数。

通过矩阵乘法，多项式可以写成矩阵的形式：

$$h_\theta(x) = \begin{bmatrix} \theta_0 & \theta_1 & \theta_2 & \cdots & \theta_n \end{bmatrix} \begin{bmatrix} x_0 \\ x_1 \\ x_2 \\ \cdots \\ x_n \end{bmatrix} = \theta^Tx$$

则成本函数（代价函数）可以写作：

$$J(\theta_0, \theta_1, \cdots, \theta_n) = \frac{1}{2m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2$$

对单个$\theta_j$进行梯度下降有：

$$\begin{align} \theta_j & := \theta_j - \alpha \frac{\partial}{\partial \theta_j} J(\theta) \\ \theta_j & := \theta_j - \alpha \frac{1}{m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} \end{align}$$

实用技巧——特征缩放(feature scaling)
动机：保证特征在相似的范围内
特征范围差异大会极大减缓收敛速度，梯度下降的迭代过程中会出现震荡现象。
例如：
$x_1$表示房屋面积(0-2000)平方米
$x_2$表示卧室数量(1-5)

$$\begin{align} x_1 & = \frac{size(feet^2)}{2000} \\ x_2 & = \frac{number\ of\ bedroom}{5} \end{align}$$

如果我们想把特征范围控制在[-1, 1]之间，可以进行以下变化：

$$x_i := \frac{x_i - \mu_i}{s_i}$$
其中$\mu_i$是特征i的均值，$s_i$是特征的范围值(max - min)。

学习率选择
如果学习率太小，梯度下降会收敛的很慢；
如果学习率太大，每次迭代$J(\theta)$反而会增大，导致无法收敛。