模型调参:
经过前面的缺失值、异常值得处理以及特征工程的构建,选择了模型进行训练以后,就可以开始进行寻训练模型。虽然说特征工程才是真正决定一个模型最终的预测能力,但是一个优秀的调参也是很重要的一部,可以在一定程度上提高预测能力,避免一定程度的过拟合。
本次主要使用xgb进行模型训练,使用sklearn中的gridsearchcv进行模型调参,提高调节合适的参数来 进一步拟合模型。对于xbg模型来说,最主要的参数就是max_depth。可以先设置一个适中的学习率,比如设置为0.1,在对max_depth进行设置,一般在5-10之中进行遍历,然后选择合适的一个值。至于其他参数可以依次进行调节。