40、机器学习模型部署与测试的实践经验分享

机器学习模型部署与测试的实践经验分享

1. 负载测试工具助力模型开发

在模型开发过程中，一款负载测试工具发挥了重要作用。应用科学家在该工具就位后，能够自行开展分期测试，无需向数据工程（DE）团队寻求帮助。Datadog 仪表盘还能全面细分每个模型的运行时性能，便于应用科学家更密切地监控指标数据。这一工具显著降低了快速开发周期中的沟通成本。

2. 广告点击预测模型的问题与解决

2.1 背景

谷歌的广告定位系统旨在最大化展示广告的长期价值，减少向用户展示不必要广告的频率。其部分实现方式是通过模型预测给定广告被点击的概率。当有展示广告的机会时，会进行拍卖，服务器会使用模型预测某些广告被点击的概率，这些概率是拍卖的输入之一。若模型表现不佳，用户和广告商的体验都会受到影响。

展示广告时，会在数据库中插入一行数据，该行对应向用户展示的广告，包含用于模型训练的特征列，还有一个布尔列表示广告是否被点击，插入行时该列默认为 false。若广告被点击，会在点击日志中生成记录，点击日志团队会处理该记录，去除欺诈性点击，并发布“干净”的点击流供其他内部用户使用，以此更新数据库中已创建的行，标记广告展示已导致点击。

模型通过查看数据库中的行作为示例进行训练，使用点击位作为标签。为了应对用户行为和广告商库存的变化，实现了点击预测模型的自动再训练和部署。在将再训练模型推向生产之前，会保留一部分数据集作为测试集进行验证，训练过程采用伯努利抽样，对于训练前 48 小时内展示的每个广告，有 99%的概率用于训练，1%的概率保留用于测试集。新训练的模型会发送到验证系统，该系统会对带有“测试集”位的近期事件进行推理，并与观察到的标签进行比较，以生成模型