李沐笔记（模型选择+过拟合和欠拟合）

训练误差：模型在训练数据上的误差

泛化误差：模型在新数据上的误差（*）

例：在过去的考试中表现很好（训练误差）不代表在未来考试一定会好（泛化误差）

验证数据集：一个用来评估模型好坏的数据集（和训练数据集不一样）

测试数据集：只用一次的数据集

K-折交叉验证：在没有足够多的数据时使用。（常用：K=5,10）

算法：将训练数据分割成K块；For i=1，...，K，使用第i块作为验证数据集，其余的作为训练数据集；报告K个验证集误差的平均

 

模型容量：模型复杂度

 d+1：d个w和1个b