rzsasuke的博客

定义正则化通过限制模型参数的范数过大，降低模型复杂度，从而防止过拟合。范数用于衡量向量和矩阵的大小l2-norm：∥w∥2=∑iwi2{\Vert \bold{w} \Vert}_2=\sqrt{\sum_{i} {w_i}^2}∥w∥2​=∑i​wi​2​l1-norm：∥w∥1=∑i∣wi∣{\Vert \bold{w} \Vert}_1=\sum_{i} |w_i|∥w∥1​=∑i​∣wi​∣https://zhuanlan.zhihu.com/p/35356992...

【基本概念】生成模型和判别模型

定义偏差：真实值与预测值的误差大小方差：预测值的离散程度特点：模型过拟合时，往往偏差小、方差大；欠拟合时，往往偏差大，方差小经典示意图：

定义过拟合：模型训练误差很小、但测试误差很大，模型过分拟合了训练集的分布特点，当测试集分布与训练集有一定差距时，会在测试集上表现较差。即模型预测训练集偏差小、测试集方差大（？）欠拟合：模型训练误差很大，即模型预测训练集偏差大、方差小（？）其他问题如何避免过拟合增加数据，使训练集数据分布更接近于真实分布简化模型，降低模型复杂度正则化early stopping如何避免欠拟合...