机器学习day7-线性回归3、逻辑回归、聚类、SVC

7欠拟合与过拟合

1.欠拟合

模型在训练数据上表现不佳，在新的数据上也表现不佳，常发生在模型过于简单无法处理数据中的复杂模式时。

特征：

训练误差较高

测试误差也高

模型过于简化，不能充分学习训练数据中的模式

2.过拟合

模型在训练数据上表现得非常好，在新的数据上表现较差，常发生在模型过于复杂，学习了数据的真实模式、噪声和异常值。

特征：

训练误差非常低

测试误差较高

模型可能过于复杂，对训练数据过度拟合

3.正则化

防止过拟合，增加模型的鲁棒性（健壮性），让模型的泛化能力和推广能力更加强大。

当w越小公式的容错能力就越好，但w太小（趋近0）模型没有意义，w太大会把误差放大。正则项可以保证一定的容错率和正确率。

正则化（鲁棒性调优）本质是牺牲模型在训练集上的正确率来提高推广、泛化能力，w在数值上越小越好，这样能抵抗数值的扰动。

将原来的损失函数加上一个惩罚项使得计算出来的模型W相对小一些来带来泛化能力，就是正则化。

常用的惩罚项有：

$$
L1正则项：L1=||w||_1=\textstyle\sum_{i=1}^{n}|w_i|，曼哈顿距离
$$

$$
L2正则项：L2=||w||_2=\textstyle\sqrt[p]{\sum_{i=1}^{n}x^p_i,X=(x_1,x_2,...x_n)}，欧式距离
$$

代表空间中向量到原点的距离。L1和L2正则项惩罚项可以加到任何算法的损失函数上去提高模型的泛化能力。

8岭回归Ridge

1.损失函数公式

岭回归=多元线性回归损失函数+L2正则

$$
J(w) = \frac{1}{2m} \sum_{i=1}^{m} (h_w(x^{(i)}) - y^{(i)})^2+\lambda\sum_{j=1}^{n} w_j^2,w_j指所有的权重系数, λ指惩罚型系数，又叫正则项力度
$$

特点：

不会将权重压缩到0，会把权重缩小（所有的特征都会被保留）

特征见存在多重共线性

模型更为平滑

API

具有L2正则化的线性回归-岭回归。
sklearn.linear_model.Ridge()
1 参数：
(1)alpha, default=1.0，正则项力度
(2)fit_intercept, 是否计算偏置， default=True
(3)solver, {‘auto’, ‘svd’, ‘cholesky’, ‘