Coursera ML笔记1-2

线性回归

单元线性回归

$h(x)=\omega x +b$
$h(x)=\theta_0x_0+\theta_1x$
$(x_0=1)$

多元线性回归

$h(x)=\omega^Tx +b$
$h(x)=\theta_0x_0+\theta_1x+\cdots+\theta_nx_n=\sum_{i=0}^n\theta_ix_i=h_\theta(x)$ $(x_0=1)$

广义线性模型

$y=g^{-1}(\omega^T+b）$
g(*)：联系函数

对数线性回归

$ln(y)=\omega^Tx+b$

梯度下降法

梯度下降算法的实用技巧

• feature scaling
  特征变量归一化,降低迭代次数
• learning rate

$J(\theta)=\frac{1}{2}\sum_{i=1}^m(h_\theta(x^{(i)}-y{(i)})^2$

梯度下降更新：$\theta_j=\theta_j-\alpha \frac{\partial}{\partial t}J(\theta) =\theta_j-\alpha \frac{1}{m}(h_\theta(x)-y)x_j$

批梯度下降算法：$\theta_j=\theta_j-\alpha \frac{\partial}{\partial t}J(\theta) =\theta_j-\alpha \frac{1}{m} \sum_{i=0}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$

判断梯度下降算法是否正常运行：
1.根据$minJ(\theta)$的图像判断是否已经收敛
2.若$minJ(\theta)$单调递增或者不单调，则learning rate α太大
3.若$minJ(\theta)$的图像下降缓慢，则learning rate α太大或太小

标准方程法

$\theta\in R^{n+1}$ $J(\theta_0,\theta_1,\cdots,\theta_m)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2$

$J(\theta)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)}-y{(i)})^2=\frac{1}{2m} (X\theta -\overrightarrow y)^T (X\theta -\overrightarrow y)$

$\frac{\partial}{\partial \theta_j}J(\theta)=\cdots=o$ (for every j)

$X^TX\theta-X^T \overrightarrow y=0$

$\theta=(X^TX)^{-1}X^Ty \in R^{(n+1)}$
n是特征变量的个数 m是训练集大小
$x^{i}=\begin{bmatrix} x_0^{(i)} \\x_1^{(i)} \\x_2^{(i)} \\ \cdots \\ x_n^{(i)} \end{bmatrix} \in R^{(n+1)}$

$X=\begin{bmatrix} {(x^{1})}^T\\{(x^{2})}^T \\ \cdots \\{(x^{m})}^T \end{bmatrix} \in R^{(m*(n+1))}$

$y=\begin{bmatrix} y^{(1)} \\y^{(2)} \\ \cdots \\ y^{(m)} \end{bmatrix} \in R^{(m)}$

标准方程法和梯度下降法

梯度方程法	标准下降法
需要选择α	不需要选择α
需要多次迭代	不需要迭代
当（n>>10000 ）很大时，有效	当（n>>10000） 很大时，速度慢
$O(kn^2)$	$O(n^3)$

标准方程的不可逆性

$X^TX$是不可逆：

1. redundant features/linely dependant
   -delete redundant features(two features are linely dependant,one of them are redundant)
2. too many features(eg:m

多项式回归

$h(x)=\theta_0size^0+\theta_1size+\cdots+\theta_nsize^n=\sum_{i=0}^n\theta_isize^i=h_\theta(size)$ $(size^0=1)$

向量化

确保参数同步变化

批梯度下降算法：$\theta_j=\theta_j-\alpha\sum_{i=0}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$
向量化：$\theta=\theta-\alpha \delta$
$\theta \in R^{n+1}$
$\alpha \in R$
$\delta \in R^{n+1}$

$\delta=\frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x^{(i)}， j=0,1,\cdots,n+1$

$x=\begin{bmatrix} x^{(i)}_0 \\ x^{(i)}_1 \\ \cdots \\ x^{(i)}_{n+1} \end{bmatrix} \in R^{(n+1)}$

$\delta=\begin{bmatrix} \delta_0 \\ \delta_1 \\ \cdots \\ \delta_{n+1} \end{bmatrix} \in R^{(n+1)}$

$\delta_j=\frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)} ， j=0,1,\cdots,n+1$