【机器学习课程-华盛顿大学】：3 分类 3.2 逻辑回归分类器过拟合

1、逻辑回归分类器中权值w大小的影响

权值越大，带入如下公式就越快达到e的指数就越快接近-无穷。也就是整体概率值越快接近1。因此，权值w越大，曲线越抖。

 

2、整体cost在拟合度和权重之间折中

权值w越大，越容易过拟合时，为什么？。因此，整体cost要在拟合度和权值之间做个平衡。

 

3、偏差和方差的折中

 

4、正则惩罚项lambda的影响

 

5、逻辑回归：L2正则化的w更新

w更新一般公式：

逻辑回归的总梯度：

 

log似然导数：

 

 

正则化L2中lambda和权重w的关系：

 

6、逻辑回归：L1正则化的w更新

稀疏矩阵：

 

正则化L1中lambda和权重w的关系：