干货 | 携程搜广推算法策略开发平台

作者简介

携程搜广推中台框架(Eagle)技术团队。

团队热招岗位:AI中台资深算法工程师

在携程的搜广推业务中,Eagle技术生态扮演着核心角色,不断地应对业务扩展带来的新挑战。本文首先剖析了Eagle算法策略平台的架构创新,包括流程组件化、编排可视化和逻辑算子化,这些设计有效提高了开发效率并确保生产稳定性。进一步通过推荐信息流业务的实践案例,展示了策略平台在性能提升和资源优化方面的实际效益。最后,对平台的未来发展进行了展望,包括优化调度、增强编排、灵活部署、全链路监控和提升用户体验等,以持续引领技术创新,满足业务发展需求。

  • 一、背景

  • 二、算法策略平台是什么?

  • 三、整体设计

  • 3.1 策略编排:简单,直观,安全,高效

  • 3.2 OP-Lib:面向运行时的统一代码库

  • 3.3 DAG执行器:高效的通用策略执行引擎

  • 3.4 策略平台在推荐信息流中的实践

  • 3.5 未来规划

一、背景

目前Eagle(携程搜广推中台框架)技术生态在集团多个业务线搜广推业务中发挥了关键作用。它在模型训练/推理,特征生产/服务,在线策略服务、分层实验以及运维监控等方面提供了统一且易用的基础框架,显著提升了各业务团队在研发效率和业务效果上的表现。

在效率提升方面的核心点包括:首先它改变了传统的算法和开发协作模式,使得算法同学能够直接参与到线上召回和重排模块算法策略代码的开发,大幅降低了沟通成本和一致性问题。其次,通过分层实验平台实现了A/B实验参数化、配置化高效做实验。这在一定程度上提升了策略逻辑的透明性和实验效率。然而,随着业务场景的扩展、业务需求量和复杂度的增加,同时更多的算法和产品同学参与进来,在代码质量、参数管理以及沟通协作出现了一些新的问题。这些对工程质量、迭代效率和性能带来了新的挑战。主要体现在以下几个方面:

1)代码冗余、参数爆炸:由于各场景在召回和重排阶段存在策略逻辑的相似性、导致了大量的代码复制现象。这种状况不仅使得服务变得过于臃肿,也大幅增加了维护成本和迭代难度。

2)逻辑黑盒和沟通成本:业务逻辑的掌握仅限于开发者本人,其他人一般都是通过文档和口述同步逻辑。反之则需要投入大量时间来理解和掌握现有的代码逻辑,这无疑增加了团队的协作难度和沟通成本。比如,日常的case Debug和策略解释路径很长,产品找算法找开发一层层传递,效率和沟通成本问题严重。

3)迭代风险与难度:代码缺少流程和模块化设计,比如:某一个召回策略逻辑几十行甚至几百行代码都写在一个类里面。这样当需要更改这块逻辑时,无疑增加了出错的风险,也使得迭代过程变得更加困难和低效。

4)质量和性能问题:算法同学(包括一部分工程同学)工程能力层次不齐,算法同学更多的是关注策略逻辑的实现,在代码设计和质量没有太多的优化经验。导致上线运行时的各种问题逐渐显现,如:时空复杂度、频繁GC、潜在的代码漏洞,系统的稳定性、资源利用率以及性能瓶颈等问题等。

二、算法策略平台是什么?

Eagle 算法策略平台是一个高度配置化和透明化的算法策略开发和部署平台。平台专为搜索、广告和推荐系统业务领域设计,通过实现搜广推全流程的配置化和透明化,简化算法策略的迭代流程,使得算法团队能够更加专注于策略的效果优化和业务目标的实现。平台提供了视图和工具,使算法团队能够直观地理解和监控流程中的每个环节(数据召回、排序逻辑、模型预测等),同时集成了自动化测试、实时监控和告警、分层实验和问题排查功能,确保了平台服务的高稳定性和可靠性。

三、整体设计

策略开发平台为用户提供一套从算子开发,任务编排到策略上线的完整解决方案,实现了策略上线流程标准化平台化管理,沉淀策略通用能力。策略开发人员可以根据不同的业务场景对相应的业务流程进行编排和发布。相对于传统的策略开发上线流程,该方案具有以下优势:

  • 流程组件化:将策略上线流程划分为三个阶段:算子开发,策略编排,任务运行;三阶段分别封装为完全解耦的三个组件,使方案整体具有高扩展性和低成本维护。

  • 编排可视化:策略的编排采用标准的DAG模型,在页面直观的展现策略节点逻辑信息及节点间的逻辑关系,实现了策略逻辑完全透明。

  • 逻辑算子化:框架提供一套统一的OP算子接口,实现了每个算子参数协议独立,功能单一,进一步减少策略代码的冗余度和提升代码的复用性。

因此,我们将整个开发平台划分为三部分:

1)OP-Organization:通过可视化的页面管理逻辑算子(OP-Lib)代码库,策略组件管理,策略逻辑编排(DAG)。执行策略标准化上线流程;

2)OP-Lib:实现统一OP接口的代码库。通过接口及注解定义了统一的OP代码开发规范,元数据声明,耗时及异常实时监控。大幅提高代码的开发效率和复用性;

3)OP-engine:实时监听策略配置(DAG)变更,支持DAG的自动优化(节点合并),动态裁剪,节点限流,熔断,实时监控,数据回流等功能,确保策略高效运行;

ff1c4ef53059023028373a7dcec1a67c.png

3.1 策略编排:简单,直观,安全,高效

策略逻辑作为支撑线上效果的主要逻辑,需要高效的迭代上线,不断的验证正向收益,在底层的框架支持上,已有分层实验平台和ABtest实验可以满足高效的实验和结果验证,但在涉及到逻辑执行层,没有统一的管理平台,以适应策略的高频迭代,为解决上述痛点,设计并开发了策略开发平台。在搜广推场景中,针对不同的调用阶段࿰

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值