1.训练集(Training Set)
用于训练模型的数据集。训练集用来训练模型,拟合出数据分布规律,即确定模型的权重和偏置等参数,这些参数称为学习参数。
- 训练集使用多次
- 确定模型权重、偏置等学习参数
- 训练出(学习出)模型通常情况下,训练集是原始数据集的一部分,用于训练模型的参数。模型通过训练集来学习数据的特征,并产生一个模型,以便在之后的预测中使用。
通常情况下,训练集是原始数据集的一部分,用于训练模型的参数。模型通过训练集来学习数据的特征,并产生一个模型,以便在之后的预测中使用。
训练集的质量决定了模型的准确性,通常情况下,训练集越大,模型能够学习到的信息就越多,性能也会相应提升。
2.验证集(Validation Set)
用于验证模型性能的数据集。在模型训练过程中,验证集用来调整模型参数和超参数,以优化模型性能,避免过拟合,即验证集用于模型选择,并不参与学习参数的确定,而是为了选择出模型误差较小的模型参数和超参数。
- 验证集使用多次
- 调整并选择模型参数和超参数
- 选择模型(验证模型性能)
它通常是从原始数据集中划分出来的,用于在训练过程中调整模型的参数和超参数,以提高模型的性能。验证集的作用是帮助开发人员调整模型,避免模型过拟合或欠拟合。
训练时,模型会不断地在训练集上进行迭代和优化 。然而,仅仅依赖训练集上的性能来评估模型的好坏是不够的。因为模型可能会过度拟合训练集中的数据,导致在未知数据上的性能下降。这时,验证集就派上了用场。
通过将模型在验证集上进行测试,