CTR预估算法小结

最新推荐文章于 2024-07-27 10:59:59 发布

原创最新推荐文章于 2024-07-27 10:59:59 发布 · 1.5w 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#CTR预估 #FM #GBDT #LR

compute ad 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了常用的CTR预测算法，包括LR、FM和GBDT，并探讨了它们在Spark平台上的实现及应用。LR简单明了，适合初步尝试；FM和GBDT为非线性分类器，能简化特征组合过程且性能较好；GBDT结合LR则可解决特征组合问题并便于处理探索与利用问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star，留言，一起学习进步

1.常用的CTR方法

常用的ctr预测的算法包括LR（Logistic Regression）， FM(Factorization Machines)， GBDT等等。像LR和GBDT， Spark Mllib都提供了相应的实现，另外台湾大学的Liblinear也有一个Spark版本的LR算法的实现。Mllib的LR是基于LBFGS的实现，而Liblinear是基于TRON的实现。实际当中我们测试过这两个算法，发现优化的性能非常接近。

2.FM与FFM

FM目前在Spark上有一个JIRA （SPARK-7008），但是目前还没有正式release。LR是最常用的算法，好处是简单明了，效果分析也相对容易，问题在于想要达到好的效果需要尝试大量的特征组合，特征工程比较费劲。FM和GBDT都是非线性的分类器（FM可以看做二次的），省去了复杂的特征组合的过程，性能也往往较好，但是出了问题不太好分析原因。实际当中可以先尝试LR，当性能不满足要求时再试FM或GBDT。

3.GBDT

FaceBook的一篇文章（Practical Lessons from Predicting Clicks on Ads at Facebook）提出先使用GBDT得到一个分类器，其中每棵树的叶子节点作为特征再送入LR训练分类器。解决了繁琐的特征组合问题。使用LR还有一个原因是比较好处理探索和利用问题(Exploartion & Exploitation)。
由于每天都会有新的新闻产生，而对这些新闻一开始点击率估计可能不准确，因此需要通过适当的投放从而收集信息以提升点击率的估计。这属于牺牲短期利益以获取长期利益的最大化。对于线性模型实现探索和利用有Yahoo的LinUCB以及微软的OBPR。另外对FM，也可以通过Bayes化实现E&E (Bayesian factorization machines, 2011)，但是实现要相对复杂一些。目前我们的建模主要依赖spark平台。整个集群规模目前约为500台机器，以Spark on yarn方式部署。除了广告和推荐建模外，还支撑用户定向，广告系统BI的任务。