模型调优方法

模型调优，首先应解决欠拟合问题，其次再解决过拟合问题。否则即便是过拟合控制得很好（训练精度与测试精度非常接近），但拟合程度却依然很低，达不到目的。

更主要的，是从数据的特征入手，好的特征工程决定预测结果的上限。

• 参数调整

  主要调整模型中的超参数，例如学习速率等。
  可以使用 网格搜索 方法，或者修改模型结构。

• 效果优化

  1. 过拟合

     $\bullet$ 寻找更多的数据
     $\bullet$ 增大正则项的强度
     $\bullet$ 减小模型结构的复杂度
     $\bullet$ 减少特征个数（不推荐）

  2. 欠拟合

     $\bullet$ 减小正则项的系数
     $\bullet$ 找更多的特征
     $\bullet$ 寻找更多的数据
     $\bullet$ 换更好的模型

• 权重分析

  对权重绝对值高/低的特征做更精细工作，例如删除权重非常低得特征，保留权重高的特征；或可以将权重高得特征进行粒度细化，发掘其隐藏的特征。

• Bad-Case 分析

  关注错误样本的相关信息：

  1. 哪些样本分错了
  2. 哪些特征促使模型做出此判断（权值高）
  3. 这些 bad-case 存在那些共性
  4. 是否有可以继续挖掘的特性
  5. 哪些样本预测结果与真实结果差距非常大，以及为什么。