模型参数大于数据量,相当于求解一个欠定方程,存在多解得可能性大,容易产生过拟合问题。
模型参数小于数据量,相当于求解一个超定方程,可能无解,也可能有解但准确率低,容易产生欠拟合问题。
我们可以把大模型在大的数据集下测验(imagenet),之后在对特定数据集进行精调(fine-turning),即可得到理想效果。
模型参数大于数据量,相当于求解一个欠定方程,存在多解得可能性大,容易产生过拟合问题。
模型参数小于数据量,相当于求解一个超定方程,可能无解,也可能有解但准确率低,容易产生欠拟合问题。
我们可以把大模型在大的数据集下测验(imagenet),之后在对特定数据集进行精调(fine-turning),即可得到理想效果。