背景:需要做一个文本相似性比较的项目,数据量很少,但是数据很规整
首先,回顾几个概念:
过拟合:数据量过大,模型为了尽可能的拟合数据,不断委屈自己适应训练数据。此时,模型在训练数据上效果很好,在测试数据上效果很差
欠拟合:模型没有完全拟合数据,比如一个随机初始化的模型。此时,模型在训练数据和测试数据上效果都很差
数据量过少,不属于以上两种情况,此时模型稍加训练便可以拟合训练数据。此时模型在训练数据上表现很好,在测试数据上表现很差。此时通过降低模型的复杂度,拟合规整数据,取得了不错的效果
背景:需要做一个文本相似性比较的项目,数据量很少,但是数据很规整
首先,回顾几个概念:
过拟合:数据量过大,模型为了尽可能的拟合数据,不断委屈自己适应训练数据。此时,模型在训练数据上效果很好,在测试数据上效果很差
欠拟合:模型没有完全拟合数据,比如一个随机初始化的模型。此时,模型在训练数据和测试数据上效果都很差
数据量过少,不属于以上两种情况,此时模型稍加训练便可以拟合训练数据。此时模型在训练数据上表现很好,在测试数据上表现很差。此时通过降低模型的复杂度,拟合规整数据,取得了不错的效果