吴恩达《Machine Learning》-Overfitting过拟合解决（七）

Overfitting数据过拟合

当我们有很多特征，我们的模型拟合训练数据非常好，但是对于新的预测数据，缺乏泛化能力。

Underfit数据欠拟合

对于训练数据的拟合能力过于弱

逻辑回归分类情况

练习题：

选择（C），过拟合能够很好地拟合训练数据。但是对于新的数据预测能力差，没有泛化能力

解决过拟合问题

1.减少特征的数量
2.使用正则化

Regularization正则化为了解决过拟合问题
normalization 归一化 为了加快梯度下降速度

Regularization正则化

思路:

将θ3，θ4设置为惩罚项。其前面乘上相当大的数值。当其进行优化函数调整θ的取值时，会将θ3，θ4调整为非常小。此时，达到了惩罚θ3，θ4参数的作用

在损失后面增加惩罚项，并对θ所有参数进行平方和与乘上λ。进行惩罚。（求和是从θ1····θn，不加入θ0）


λ为正则化参数，调控前后两个部分的比例
损失函数前半部分，是为了更好的拟合数据

损失函数后半部分，是为了保证各个参数值足够小。（防止过拟合）

练习题：

选择（C）。如果λ正则化参数过于大。经过优化函数其各个θ参数会过于小。导致模型对数据的欠拟合。

Regularized Linear Regression正则化的线性回归

如果λ正则化参数过于大。导致各个θ参数会过于小，且接近于0.相当于hθ（x）=θ0，即为一条直线。直线必定导致数据的欠拟合。

练习题：

选择（C），若学习率α特别小，会导致αλ/m的值非常小，故1-αλ/m（一个特别小的值）会导致其小于1.

加入正则化的梯度下降

若学习率α特别小，会导致αλ/m的值非常小，故1-αλ/m会减小一个很小的值。如θj=0.99.
相当于θj乘上一个比一小一点的值。达到了调整θj的思路

加入正则化的矩阵方法（Normal equation）

原来基础上加入λ*（1，1）为0，其余对角线为1的矩阵。
注意此矩阵为n+1维矩阵
若n=2时，此矩阵为[0,0,0][0,1,0][0,0,1]

回想一下，如果m(样本个数)<n（特征个数），那么

不可逆。但是，当我们加上术语λL，然后变为

可逆的。

Regularized Logistic Regression正则化的逻辑回归

在原有的逻辑回归损失函数基础上，后面加上一项，即可做到防止数据的过拟合

梯度下降法的正则化的逻辑回归

练习题：

选择（C），保证每一轮迭代中损失函数都在减少。

测试题：

选择（C）
B.将正则化方法加入模型并不是每次都能取得好的效果,如果λ取得太大的化就会导致欠拟合. 这样不论对traing set 还是 examples都不好.

选择（A）
当λ非常非常大时,θ1θ2…θn≈0，θ必然小

选择（A）
B.λ太大导致欠拟合，而不是过拟合
C.shrunk slightly的是θ, regularization是想要解决overfit. 不正确




选择（A）

选择（A）