tinstone的博客

通常模型调参可通过网格搜索的方式进行搜索实验，但是另一种方法是在训练期间评估模型在每次迭代的模型性能，并将结果绘制成图，则该图即为学习曲线。学习曲线提供了一种模型诊断工具，可以解释并建议对模型超参数进行特定更改，从而可能会提高预测性能，通常学习曲线是在 x 轴上显示时间或经验，在 y 轴上显示学习或改进的评估指标值，从而更加了解模型 “学习” 的程度。欠拟合过拟合良好拟合。

模型验证曲线用于评估模型是否存在过拟合与欠拟合情况，且有助于调整模型超参数。

pyspark 中使用集群未安装的python三方库：加载虚拟python环境在使用pyspark运行python代码的过程中，通常遇到集群环境中没有相应的python三方库，即：ImportError: No module named ** ，对于该种情况，通常有两种解决方案：1. 集群中的python环境安装相应的三方库！ 走流程、找运维，贼麻烦2. 集群未配置python环境，加载虚拟python环境！（重点讲解该方式，用起来贼方便）未加载库的通常处理方式使用pyspark过程中