线性回归

假设函数

hypothesis是指拟合的函数，表示为$h_{\theta}(x)=\theta^Tx$ , 其中$\theta=[\theta_0,\theta_1,\cdots,\theta_n,]$, $x=[x_0,x_1,\cdots,x_n],x_0=1$

$\begin{align*}h_\theta(x) =\begin{bmatrix}\theta_0 \hspace{2em} \theta_1 \hspace{2em} ... \hspace{2em} \theta_n\end{bmatrix}\begin{bmatrix}x_0 \newline x_1 \newline \vdots \newline x_n\end{bmatrix}= \theta^T x\end{align*}$

这里需要注意的是，为了形式简洁，将$x_0$ 放入向量中，并且赋值为1.

损失函数

定义线性回归的损失函数为：（均方误差）

$$J(\theta) = \frac{1}{2m}\sum_{i=1}^{m}\big( h_\theta\,(x^{(i)})-y^{(i)}\big)^2$$

对于线性回归，均方误差损失是一个凸函数，具有全局最小值。

优化方法

梯度下降法

这个比较常规

对于损失函数$J(\theta)$, 对于每个$\theta_j$ ，进行更新：

repeat until converge:

$\theta_j=\theta_j-\alpha \dfrac{\partial}{\partial \theta_j}J(\theta)$

这里需要注意的是，所有的$\theta_j$ 是同时更新的，也就是上式中的$\theta$ 向量都采用同一个向量，直到下次更新。

对于线性回归的损失函数而言，上面的式子可以进一步写为：

$\theta_j = \theta_j - \alpha[\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i$