66、机器学习实践与概念解析

机器学习实践与概念解析

一、模型训练与优化

1.1 多 GPU 训练

可以使用 MirroredStrategy 在同一台机器的多个 GPU 上训练任何模型。若没有可用的 GPU，可使用带有 GPU 运行时的 Colaboratory 并创建两个虚拟 GPU。之后使用 CentralStorageStrategy 再次训练模型，并比较训练时间。

1.2 云平台模型训练

可在 Google Cloud AI Platform 上使用黑盒超参数调优来训练小型模型。

1.3 训练模型时的问题及解决方法

</

问题	原因	解决方法
验证误差在每个周期后持续上升	学习率过高，算法发散；或模型过拟合训练集	若训练误差也上升，降低学习率；若训练误差未上升，停止训练
验证误差远高于训练误差	模型过拟合训练集	降低多项式次数；正则化模型，如添加 ℓ 惩罚（Ridge）或 ℓ 惩罚（Lasso）；增加训练集大小
训练误差和验证误差几乎相等且相当高	模型欠拟合训练集，有高偏差	尝试减小正则化超参数 α