吴恩达机器学习线性回归

监督学习

回归问题（预测连续型数据）

分类问题（预测离散型数据）

线性回归

预测函数：h(x) = ${\theta }_0+x{\theta }_1$
减小误差即使误差函数$J(\theta )=\frac{1}{2m}\sum _{i=0}^n{(h(\theta {)}^i+y^i)}^2$ 最小。

m代表训练集数据地数量
举例说明：

梯度下降法

找出现在位置下降最快地方向

${\theta }_j:={\theta }_j-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_j}$
$\alpha$是学习率，即下降的步长
:=代表的是赋值地意思

${\theta }_0:={\theta }_0-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_0}$

这个方法的缺点是只能获取局部最优点。
但是线性回归的梯度下降法只有全局最优解。

矩阵向量乘法

$h_{\theta }(x)=-40+0.25x$
$$\begin{array}{c}\left[\begin{array}{c}2104\\ 1416\\ 1534\\ 852\end{array}\right]\times \left[\begin{array}{c}-40\\ 0.25\end{array}\right]\end{array}$$

多功能（多变量）
$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots \dots$
$$\begin{array}{c}x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ \dots \dots \\ x_n\end{array}\right]\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ \dots \dots \\ {\theta }_n\end{array}\right]\end{array}$$
$h_0(x)={\theta }^{T}x$

梯度下降
${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x{)}^i-y^i)x_j^i$

变量x需要归一化
$x=\frac{x-E(x)}{cov(x)}$
这样可以使$-1\le x^i\le 1$

特别注意不要使步长$\alpha$太大，不然损失函数无法收敛
$\alpha$最好取值:0.001,0.003,0.01,0.03,0.1,0.3,1……