一、现状介绍
算法策略在广告行业中起着重要的作用,它可以帮助广告主和广告平台更好地理解用户行为和兴趣,从而优化广告投放策略,提高广告点击率和转化率。模型系统作为承载算法策略的载体,目前承载搜索、推荐、首焦、站外等众多广告业务和全链路的深度学习建模,是广告算法算法创新和业务迭代发展的重要基石。
架构全景图:
1.平台能力:
1.高吞吐高并发:百亿PV,百万QPS
2.低延迟,高可靠:万亿次预估计算/秒,毫秒级延迟,99.99%
3.集群规模:1W+节点
4.迭代周期:3次/天
2.系统能力
1.模型规模:TB级模型预估
2.异构计算:CPU/GPU异构计算
3.在线学习:分钟级模型更新
4.实时图计算:亿级节点、百亿级边;分钟级图数据更新
5.层次化算力:实时计算、离线计算、近线计算
二、发展历程
广告在线模型系统发展大致分为三个主要阶段:
1、深度学习时代:通过组件化、平台化、配置化完成架构的统一和流程机制的规范化,解决迭代效率问题。
2、大模型时代:通过分布式分图计算架构解决模型规模和实效性的问题。
3、算力时代:通过层次化算力建设解决全链路算力协同的问题。
1、深度学习时代——架构统一/迭代效率
广告在线模型系统初期缺乏统一的系统架构和流程机制,随着Tensorflow开源,算法的离线调研能力大幅提升,对应的在线模型架构算法迭代效率问题日益凸显。主要面临的问题如下:
◦业务接入成本高:广告业务涉及的业务较多,包括搜索、推荐、首焦、站外,模型涉及到CTR模型、CVR模型、CPA模型。每个业务都要面临新加广告场景、新加/修改模型,都需要添加额外的开发支持,接入效率低成本高。
◦特征繁多,数据不统一,算法实验低效:1)特征来源较多,有商品特征、用户特征、请求特征,没有统一的数据使用规范。2)特征种类也比较多,每个业务用的特征也比较独立,不利于复用。
◦算法和工程耦合:算法模型强依赖算法服务,模型结构修改都要带来服务修改,影响模型迭代。缺