吴恩达机器学习笔记：正则化2

1.正则化线性回归

对于线性回归的求解，我们之前推导了两种学习算法：一种基于梯度下降，一种基于正规方程。

正则化线性回归的代价函数为：$$J(\theta )=\frac{1}{2m}\left[\sum _{i=1}^m{\left(h_{\theta }(x^{(i)})-y^{(i)}\right)}^2+\lambda \sum _{j=1}^n{\theta }_j^2\right]$$
如果我们要使用梯度下降法令这个代价函数最小化，因为我们未对其进行正则化，所以梯度下降算法将分两种情形：

上面的算法中𝑗 = 1,2, . . . , 𝑛 时的更新式子进行调整可得：
$${\theta }_j:={\theta }_j\left(1-a\frac{\lambda }{m}\right)-a\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有算法更新规则的基础上令𝜃值减少了一个额外的值。

我们同样也可以利用正规方程来求解正则化线性回归模型，方法如下所示：

图中的矩阵尺寸为 (𝑛 + 1) ∗ (𝑛 + 1)

2.正则化的逻辑回归模型

针对逻辑回归问题，我们在之前已经学习过两种优化算法：我们首先学习了使用梯度下降法来优化代价函数𝐽(𝜃)，接下来学习了更高级的优化算法，这些高级优化算法需要你自己设计代价函数𝐽(𝜃)。

自己计算导数同样对于逻辑回归，我们也给代价函数增加一个正则化的表达式，得到代价函数：
$$J(\theta )=\frac{1}{m}\sum _{i=1}^m\left[-y^{(i)}\log \left(h_{\theta }(x^{(i)})\right)-(1-y^{(i)})\log \left(1-h_{\theta }(x^{(i)})\right)\right]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$
Python 代码：

import numpy as np
def costReg(theta, X, y, learningRate):
 theta = np.matrix(theta)
 X = np.matrix(X)
 y = np.matrix(y)
 first = np.multiply(-y, np.log(sigmoid(X*theta.T)))
 second = np.multiply((1 - y), np.log(1 - sigmoid(X*theta.T)))
 reg = (learningRate / (2 * len(X))* np.sum(np.power(theta[:,1:the
ta.shape[1]],2))
 return np.sum(first - second) / (len(X)) + reg

要最小化该代价函数，通过求导，得出梯度下降算法为：
注：看上去同线性回归一样，但是知道 $h_{𝜃}(x)=g({𝜃}^{T}X)$，所以与线性回归不同