【Stanford机器学习笔记】5-Review for Chapter 1-4

在第1章至第4章中，主要讲了线性回归模型、逻辑回归模型、正则化的线性回归模型和正则化的逻辑回归模型，不管哪个模型，都离不开几个主要的参数：假设函数，代价函数，梯度下降算法。下面对其中的重要公式进行一个小结。

1. 线性回归模型（Linear Regression Model）

（1）假设函数（Hypothesis Function）$h_{\theta}(x)$：

$$h_{\theta}(x)=\theta^Tx$$

（2）代价函数（Cost Function）$J(\theta)$：

$$J(\theta)=\frac{1}{2m} \sum_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})^2$$

（3）梯度下降算法（Gradient Descent）：

$$\text{repeat until convergence}\{\\ \theta_j:=\theta_j-\alpha\frac{1}{m}\sum_{i=1}^m(h_{\theta}(x^{(i)})-y^{(i)})x_j^{(i)}\\ \text{(simultaneously update for every j)} \\ \}$$

（4）正规方程（Normal Equation）

• 假设函数（Hypothesis Function）矩阵形式$h_{\theta}(x)$：
  $$X\theta=y \\ $$
• 最优参数解

$$\theta=(X^TX)^{-1}X^Ty$$

2. 逻辑回归模型（Logistic Regression Model）

（1）假设函数（Hypothesis Function）$h_{\theta}(x)$：

$$h_{\theta}(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$$

（2）代价函数（Cost Function）$J(\theta)$：

$$J(\theta)=-\frac{1}{m} \sum_{i=1}^m [y^{(i)} log(h_{\theta}(x^{(i)}))+(1-y^{(i)}) log(1-h_{\theta}(x^{(i)}))]$$

（3）梯度下降算法（Gradient Descent）：

$$\text{repeat until convergence}\{\\ \theta_j:=\theta_j-\alpha \frac{1}{m}\sum_{i=1}^m(h_{\theta}(x^{(i)})-y^{(i)})x_j^{(i)}\\ \text{(simultaneously update for every j)} \\ \}$$

可以发现，线性回归和逻辑回归的梯度下降算法在形式上看似是一样的，只是其中的假设函数hθ(x)不同，一个是线性模型（多项式），一个是非线性模型（Sigmoid函数），所以本质上是不一样的。

3. 正则化线性回归模型（Regularized Linear Regression Model）

（1）假设函数（Hypothesis Function）$h_{\theta}(x)$：

$$h_{\theta}(x)=\theta^Tx$$

（2）代价函数（Cost Function）$J(\theta)$：

$$J(\theta)=\frac{1}{2m} [\sum_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})^2+\lambda \sum_{j=1}^n \theta_j^2]$$

（3）梯度下降算法（Gradient Descent）：

$$\text{repeat until convergence}\{\\ \theta_0:=\theta_0-\alpha \frac{1}{m}\sum_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})x_0^{(i)}\\ \theta_j:=\theta_j(1-\alpha \frac{\lambda}{m})-\alpha\frac{1}{m}\sum_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})x_j^{(i)}\\ \text{(simultaneously update for every j)} \\ \}$$

Notes: 正则化不对第一个参数项$θ_0$进行正则化，只对后面的参数进行正则化。

（4）正规方程（Normal Equation）

• 假设函数（Hypothesis Function）矩阵形式$h_{\theta}(x)$：
  $$X\theta=y \\ $$
• 最优参数解

$$\theta=(X^TX+\lambda \left[ \begin{matrix} 0&0&0&0\\ 0&1&0&0\\ 0&0&\ddots&0\\ 0&0&0&1 \end{matrix} \right]_{(n+1)*(n+1)})X^Ty$$

4. 正则化逻辑回归模型（Regularized Logistic Regression Model）

（1）假设函数（Hypothesis Function）$h_{\theta}(x)$：

$$h_{\theta}(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$$

（2）代价函数（Cost Function）$J(\theta)$：

$$J(\theta)=-\frac{1}{m} \sum_{i=1}^m y^{(i)} [log(h_{\theta}(x^{(i)}))+(1-y^{(i)}) log(1-h_{\theta}(x^{(i)}))]+\frac{\lambda}{2m}\sum_{j=1}^n\theta_j^2$$

（3）梯度下降算法（Gradient Descent）：

$$\text{repeat until convergence}\{\\ \theta_0:=\theta_0-\alpha \frac{1}{m}\sum_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})x_0^{(i)}\\ \theta_j:=\theta_j-\alpha[\frac{1}{m}\sum_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})x_j^{(i)}+\frac{\lambda}{m}\theta_j]\\ \text{(simultaneously update for every j)} \\ \}$$

Notes: 正则化不对第一个参数项$θ_0$进行正则化，只对后面的参数进行正则化。