过拟合，欠拟合与模型调整

①欠拟合即不能准确的拟合训练集数据；即训练集的损失函数高，得分低

   欠拟合对交叉测试集(或其他新数据集)的预测能力也较差，即交叉测试集的损失函数高，得分低；

   欠拟合属于高偏差，即拟合曲线与真实曲线的值的偏差较大(如用一次函数来拟合类三次函数的数据)

②过拟合即过分拟合训练集中的数据，即训练集的损失函数低，得分高

   过拟合对交叉测试集(或其他新数据集)的预测能力较差；即交叉测试集的损失函数高，得分低

   过拟合属于高方差，即拟合曲线与真是曲线的方差较大（如用十次函数来拟合类三次函数的数据）

③好的模型有两种能力：即对训练集较好的拟合能力和对交叉测试集(或其他新数据集)有较好的预测能力；

④可以画出学习曲线来判断一个模型是过拟合还是欠拟合

如果过拟合：可以增加训练集数量或减少特征以降低模型复杂度来改善

如果欠拟合：可以增加有效特征数量增加模型复杂度或仅从数学角度提高多项式或次数来改善

注：高方差与高偏差的形象解释图如下：