【机器学习】模型评估方法

评估方法

k折交叉验证

• 数据分为k部分，每次抽出k-1块作为训练集，剩余一部分为测试集，训练测试k次，取测试结果的平均值作为返回结果。

调参

• 算法的参数一般由人工设定，称为超参数。
• 模型的参数由学习确定。

调参过程

• 先产生若干模型，基于某种评估方法进行选择。
• 使用训练集训练模型，用验证集评估模型的性能，选定好最优的模型后用训练集+验证集重新训练最终模型->测试。

性能度量

• 性能度量（performance measure）是衡量模型泛化能力的评价标准，反映了任务需求。
• 回归任务常用均方误差：
  $$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f({\mathbf{x}}_i)-y$$