【得物技术】AB实验设计实现与分流算法

背景

在现实的产品设计场景中以及业务决策中,需要对方案进行决策。例如,App或网页端某个页面的某个按钮的颜色是用蓝色还是红色,是放在左边还是右边?传统的解决方案通常是集体表决或由某位Leader拍板,类似的选择还有很多,从概率上很难保证传统的选择策略每次都是有效的,而ABTest显然是一种更加科学的方法。

 

业务价值

研发视角

  • 先验性:采用流量分割与小流量测试的方式,先让线上部分小流量用户使用,来验证我们的想法,再根据数据反馈来推广到全流量,减少产品损失。
  • 并行性:我们可以同时运行两个或两个以上版本的试验同时去对比,而且保证每个版本所处的环境一致的,这样以前整个季度才能确定要不要发版的情况,现在可能只需要一周的时间,避免流程复杂和周期长的问题,节省验证时间。
  • 科学性:统计试验结果的时候,ABTest 要求用统计的指标来判断这个结果是否可行,避免我们依靠经验主义去做决策。

 

PM视角

  • 实验流程化,系统化,降低用户使用数据产品的门槛
  • 数据分析可视化,将通用指标系统化分析,降低手工分析频率;对实验结果做到智能解读,直接给出用户数据分析结果,降低用户数据理解门槛

 

核心概念

  1. 场景
    对应业务场景,场景之间完全独立,比如首页推荐瀑布流、金刚位等。
  2. 桶
    从属于场景,一个场景可以有多个桶,一个桶中可以多个实验,不同的桶之间流量是互斥的。
  3. 层
    一类(种)实验的集合,从属于场景,一个场景可以有多个层,处于同一层的各实验之间流量互斥,各实验流量之和为总流量,处于不同层的各实验之间流量正交。
  4. 实验
    用来验证某个决定请求处理方式的功能或策略的一部分流量,通常用来验证某个功能或策略对系统指标(如PV/UV,CRT,下单转化率等)的影响。
  5. 流量
    指所有用户请求。
  6. 流量正交
    不同层之间流量分配方式完全独立,不会互相影响MECE。

 

实验建模

image.png

   

    这里我们将用户流量分成了三份,分层桶、小流量桶和基准桶。其中:

  • 层和桶的数量支持扩展(理论上支持任意多个)
  • 层和桶之间没有关联关系
  • 实验处于层和桶的交叉部位
  • 每一层的hash因子不同(通过加盐实现)
  • 每一层和桶的交叉部位有一个基准实验,当没命中实验(流量没有完全利用)时,走基准实验

    分层桶类似于“测试环境”,由算法方较为自由的验证一些想法,因此管控比较松,在分层桶里我们允许多个实验组交叉的去验证不同的策略通路,以此来挑选更优的算法组合模式,如果某种组合模式经过初步验证,产生了更好的指标,就可以进入小流量桶。

    小流量桶类似于“预发环境”,我们将这个组合模式单独灌入新的一批流量,相当于排除干扰,再次double check下,如果确实产生了更好的指标,我们将其晋升为基准桶。

    基准桶类似于“生产环境”,作为一种稳定的算法策略持续使用。

                          image.png

 

分流算法

     进行分流算法的目的是将线上用户按照固定的流量比例分配到不同实验(桶)中,并且保持这种实验(桶)分配关系,以此来对照验证相关的指标是否有所好转,所以为了保持这种用户和实验(桶)的分配关系,我们使用了hash取模的方式将一个用户固定在了一个0到100的区间中,这样只要对应实验(桶)的区间没有变化,这个用户和实验(桶)的分配关系就不会变化。

     所以我们的做法就是将每个实验(桶)的流量占比分配到一个0到100的区间中,根据用户id和每一层不同的hash因子组合进行hash,然后取模,余数落到哪个区间就取包含该区间的实验(桶)。

     image.png

      如上图所示,A实验流量占比30%,B实验30%,C实验40%,将它们分配到0到100的区间中,即A实验占[0,30),B实验占[30,60),C实验占[60,100),计算一个用户模为50则命中B实验。

      如果不需要进行流量调整,这种模式能够很稳定的运行并且保持这种实验(桶)流量分配关系,但是如果进行流量调整,就会存在一些问题,比如此时我们将A实验减少15%,B实验不变,C实验增加15%,则A实验占[0,15),B实验占[15,45),C实验占[45,100),因为每个层的hash因子不变,相同的用户请求产生相同的模数,最后模为50会落入C实验的区间,如下图:

            image.png

    这样的结果在业务上是不可接受的,因为A和C实验流量的调整对B实验的用户进行了污染,导致本应该属于B实验的一部分用户却走到了实验C中,所以在这里我们进行一些调整,每次流量的调整只会调整它的邻边,即尽可能的减少流量调整对实验区间重新分配带来的影响,我们以上图的场景为例,进行改进后的AB算法的拆解。

          image.png

    如上图,算法第一步是优先在自己的区域内进行选择,A实验流量调整为15%,从自己的区域[0,30)中选取[0,15),B实验保持[30,60),C实验因为流量调整为55%,先把自己的区域选满,即[60,100)。

    第二步是填补间隙,C实验因为还有15%没有填补,就把间隙[15,30)补上。

    这样调整后,A和C实验的流量调整不会给B实验带来影响,原先B实验的用户调整后依然还是走B实验。然后还能让流量调整后原来A实验中的一半用户继续留存在A实验中,C实验原来的用户依然还是走C实验,尽可能减少了用户集变动给实验(桶)最终效果带来的影响。

    依此类推,如果继续对上述实验集进行流量调整,A实验调整为25%,B实验调整为35%,C实验调整为40%,进行算法的拆解,如下图:

          image.png

    第一步是优先在自己的区域内进行选择,A实验因为流量调整为25%,先把自己的区域选满,即[0,15),B实验调整为35%,也是优先把自己的区域选满,即[30,60),C实验调整为40%,从自己的区域中选择[15,30)和[60,85)。

    第二步填补间隙,A实验因为还有10%没有填补,就把间隙[85,95)补上,B实验因为还有5%没有填补,就把间隙[95,100)补上,最终形成上图的区间分布。

    这样经过多次调整后,每个实验都尽可能的减少了自己区间的变动,进行相应的“多退少补”,保证自己用户的留存性,减少对实验指标的影响。

    从上面的例子可以看出,经过多次的流量调整后,各个实验的区间分布会变得比较复杂,但是从使用者的角度看,他只需要关心每个实验所占的流量配比,不需要关心底层实验流量的区间分布情况(这块对他是黑匣子),因此不会增加使用者操作的难度。

 

系统设计

      AB平台在系统设计上尽可能的减少了外部依赖和IO调用,将处理都尽量放在了本地内存中,如下图:

                          image.png

    仅依赖了配置中心和数据库,然后上游流量的请求进入AB获取实验决策全部都是本地内存操作。其中重载配置过程如上图所示:

  • 后台用户编辑实验信息(①)
  • 进行相应的增删改操作修改DB(②)
  • 触发发布一个静态配置,如果该配置已存在则配置值加一(③)
  • 配置中心将该配置推送给所有AB机器(④)
  • 触发所有机器重新加载数据库配置进本地缓存(⑤)

这样上游的请求进入任意一台机器都是在本地内存进行处理,并且每台机器都是加载的最新的配置,大大提高了AB平台的处理能力降低了rt。

系统设计没有银弹,之所以这样设计是因为AB平台具有如下的特点:

1.弱一致性

    依赖配置中心推送随着订阅机器的增加一定会有一些延迟,但是用户修改实验配置后对于即时生效并不是特别敏感,延迟几秒都是可以接受的。

2.缓存内容较少

    本身实验的配置信息就比较少,哪怕未来实验数量达到万量级,单机内存中都完全足够存放。

3.读多写少

    用户修改实验配置的次数远远小于上游调用AB平台获取决策的次数,所以对于配置中心的调用压力足够小,是在可预期范围内。

 

这样设计也存在一些缺陷:

1.数据库毛刺

    随着机器数量的增加,用户每次修改实验配置后,所有机器都需要重新加载数据库配置进入本地缓存,每台机器都要触发场景、桶、层、实验、白名单等等的数据库查询,而且是所有机器瞬间一起的查询,在机器数达到百台千台以上的时候会对数据库造成较大的瞬时查询压力,造成查询超时甚至是更严重的问题,不过可以通过一些方式去缓解:

  • 随机时间等待,每台机器在收到配置变更后随机等待一个短暂的时间将所有机器加载数据库的时间点错开一些。
  • 数据库缓存,每次修改完数据库后都主动的触发一次缓存加载,不过这里缓存要谨慎使用,如果触发缓存加载失败,此时去触发配置中心推送,机器会加载到脏数据导致实验配置修改没有生效,所以修改数据库和主动触发缓存加载一定要在一个事务中。
  • sql优化,每次重新加载所有配置信息本身sql不复杂,加索引带来的提升也不是特别提效,因为配置信息达到MB级别的时候,对于网络开销也是较大的,然后机器数量上去后,网络IO吞吐会很大,所以可以修改为查询最近一段时间内发生变化的配置信息,这样可以大大减少查询的压力。当然如果将推送版本号改为推送修改的id然后单独加载id也是可行的,不过要考虑到多个用户并发修改不同的实验配置导致配置中心合并配置带来的推送丢失问题,之所以推送版本号也是考虑到这个问题。

2.推送效率

    随着订阅机器数的增加,推送rt的增加是必然的,当然这个缺陷是在可接受范围内的。

3.僵尸节点

    如果机器因为网络问题失联导致配置项推送失败会造成实验配置修改没有完全生效的问题,会造成一些诡异的现象,不过概率较低,只能依赖运维平台的各种端口检测来提前发现处理。

文|尉迟繁缕

关注得物技术,携手走向技术的云端

相关推荐

压测AI Agent 治理与评测调优实践|得物技术

本文介绍智能分析Agent在压测调试中上线后的治理闭环建设:通过Langfuse记录完整执行链路,结合用户反馈与Trace还原问题根因;利用CLI Mock固化证据数据集,实现相同场景下的回测验证。基于固定案例与五档评分机制,持续评估方案质量、延迟与成本,确保修复有效且无新问题引入,推动Agent能力迭代优化。

SmartCodeTech的博客 317

从中心调度到自驱协作多 Agent 架构的三次反转|得物技术

本文探讨多Agent系统中的控制权分配问题,提出三大协作架构:Master Agent(中心调度)、任务看板(共享状态)与Advisor(轻量咨询)。通过划清上下文边界与模型边界,强调应以信息相关性而非职业标签划分Agent。三种模式分别将决策权集中于中心、下放至共享状态、再下沉至执行者,形成控制权逐步下沉的演进路径。案例显示,合理设计可提升复杂任务的并行性、弹性与可维护性。

SmartCodeTech的博客 420

Jev 实战:为AI工作流引入轻量决策层 x10倍提速|得物技术

完成这三个场景后,我对适用边界有了更明确的认识:它们都可以先定义答案范围,再根据判断结果驱动下一步操作。接入时,我会优先明确输入、选项、采纳条件和兜底路径,再评估Jev是否适合承担这一环节。结合这些实践,我更容易理解Jev(TypeSafe System One)作为专用结构化决策模型不生成自然语言,而是返回带概率的判断结果。后续接入时,我会继续从脚本中边界明确的判断任务开始,分别验证准确性、耗时和费用,再决定是否扩大使用范围。下面整理了相关能力、限制和接入要点,便于查阅。

SmartCodeTech的博客 346

国产算力·昇腾 910C 大模型推理优化(下):源码修改与算子优化,提速30%|得物技术

本文延续上篇,深入vllm-ascend源码优化:通过多流重叠实现MoE共享专家并行计算,消除冗余事件开销,并解除与FUSED_MC2的互斥限制,实现c=1下TPOT从8.2ms降至8.0ms;优化decode阶段host侧开销,引入状态跟踪跳过冗余拷贝;设计Block Table CPU快路径,规避小batch下NPU kernel启动延迟;针对GDN层融合L2Norm至recurrent kernel,减少算子调用与内存往返。综合优化后推理性能显著提升,形成可复用的昇腾910C大模型推理优化方法论。

SmartCodeTech的博客 248

国产算力·昇腾 910C 大模型推理优化(上):镜像更新与参数调优,提速 40%|得物技术

文中详细给出每一项优化的动机、实现(含具体源码改动路径与关键代码片段)、验证数据与踩坑记录(包括十余项实测无效或负向的尝试),希望为同样在国产算力上做推理优化的团队提供一份可直接复用的工程参考。

SmartCodeTech的博客 227

动态规则的 Agent 实践:用确定性工程驾驭 LLM 的资产智能验收

面对财务验收中规则多变、材料非结构化、核对复杂等痛点,传统规则引擎难以应对。系统采用“规则即配置”思路,由大语言模型(LLM)负责理解合同、扫描件等非结构化材料并执行语义比对,工程系统则保障流程编排与可追溯性。通过异步处理、幂等设计、三类流量隔离及双通道(文本/图像)处理,实现高效稳定运行。结合用户反馈构建自动标准答案,辅以试跑、回测与发布门禁机制,形成闭环质量体系。底层采用确定性工作流架构,确保行为可预期、可测试,真正实现灵活规则的快速迭代与安全上线。

SmartCodeTech的博客 345

发一张图,它居然“跃“出屏幕了?一文读懂得物 3D 空间图片技术实践

3D 空间图片功能的落地,涉及模型生成、内容分发、客户端渲染之间的一系列取舍。本文重点分享如何生产出高质量、小体积的模型,以及如何在手机上流畅运行。

SmartCodeTech的博客 555

别再只卷向量检索了,得物交易搜索如何用“生成式”实现召回范式跃迁?

你搜"af1",它得给你"空军一号"。这一年,得物交易搜索把召回从"做选择题"改成了"写答案"——不再从商品池里"找"最像的,而是让模型自己"生成"你真正想要的。从 LLM 语义索引到 HLLM、语义 ID,搜索是怎么从"检索"走向"生成"的?

SmartCodeTech的博客 594

指标平台:从语义底座到智能消费的实践路径|得物技术

这篇文章想做的,不是在本体化的宏大叙事上再叠加一层理论,而是把我们在真实落地中验证过的路径讲清楚:语义底座怎么从零建立起来、怎么保证质量不失控、怎么支撑 Text2SQL 和 AI Coding 两条消费主线,以及沿着这条路径往前走,下一步该往哪个方向发力。

SmartCodeTech的博客 317

企业级 MultiAgent 落地:Plan 模式与主子 Agent 协作|得物技术

基于 AgentScope Java 的企业级 MultiAgent 平台,为研发、数据分析和知识问答等场景提供统一的模型调用、工具接入、任务编排、流式输出与运行追踪能力。

SmartCodeTech的博客 302

得物小摊 AI Native 演进实录:用 Harness 构建可控 AI 交付

AI Coding 一个人用很顺手,进了团队就漏:指令没人审、经验难沉淀、过程看不见、链路不闭环。作者团队基于 Multica 做了 EP-Harness,把 Agent 当成员管,给它套一层可执行、可观察、可治理的 Harness,并让反馈闭环。成果:可追溯决策、多 Agent 协作,高频异常从每 4 小时 2400 多条降到个位数,对得物技术补上团队级 AI 协作关键一环。

SmartCodeTech的博客 544

企业级 MultiAgent 的记忆系统:短期上下文与四层记忆架构实现|得物技术

在 MultiAgent 平台中,Agent 的"记忆"能力是实现智能对话和个性化服务的核心资产。本文深入剖析 Agent 记忆系统的设计理念与实现细节,重点解析长期记忆架构的写入与加载流程,涵盖 LLM 智能判断、语义检索、Token 预算控制、冲突处理等关键技术,为开发者提供完整的技术实现参考。

SmartCodeTech的博客 502

EP-Harness:从个人 AI Coding 到团队级 Agent 工作流|得物技术

AI Coding 个人用得爽,一到团队就崩。EP-Harness 把 Agent 从聊天工具变成团队协作成员——可管理、可追溯、可闭环。落地后高频异常从 2400+/4h 收敛到个位数。

SmartCodeTech的博客 694

得物知识问答:复合检索 Agent 的系统设计实践

从"搜到什么用什么"到"搜→筛→挖→验"自主决策闭环——我们造了一个有判断力的 RAG Agent,不是套壳。

SmartCodeTech的博客 736

实战从零开始构建一个Coding Agent:Violin |得物技术

理解了 coding agent 的构建原理,也就掌握了理解其他 agent 的一把钥匙。笔者对每天都在使用的 agent 原理很感兴趣,于是决定自己写一个:violin。

SmartCodeTech的博客 927

AI Native 交易核心系统的研发范式|得物技术

如何改造旧研发流程适配 AI 编码?本文提出五道标准化关口治理思路,依托 Claude Code Spec-Driven 插件打通需求澄清、方案设计、TDD 落地、门禁管控与埋点监控,构建带人工确认门控的完整工作流,以五层自底向上架构实现 AI 编码规范化落地。

SmartCodeTech的博客 975

推荐系统体验的数字化突破:得物自动化评测平台的技术实践|AICon 文章整理

「得物推荐 AI Harness 工程化实践系列」的末篇内容,本系列共三篇连载。本篇(末篇)详解得物推荐评测平台的完整技术体系:从主观体验量化到大模型自动化评测流水线,涵盖多维度指标设计、人机协作提示词校验闭环、分布式任务调度与成本精控等核心工程实现,以及单周百万级审计需求下实现 91% 资源成本优化的工业级落地实战细节。

SmartCodeTech的博客 1495

RAG 核心概念与原理:Chunking、Embedding、相似度、HNSW 与多路召回|得物技术

决定 RAG 效果的关键不在大模型,而是文本切块、查询改写、多路召回与精排。合理切块存好知识库内容,向量匹配抓语义、BM25 匹配关键词互补。先优化用户提问,快速召回一批相关文档,再用精排模型精细筛选,整套检索流程配合到位,问答准确度才会明显提升。

SmartCodeTech的博客 1082

从“机械应答“到“服务伙伴“:得物高可控智能客服的 Agent 工程实践|AICon 演讲整理

本次分享围绕以下核心技术展开:客服 Agent 挑战与架构设计(Single-Agent→Multi-Agent→Harness);高可控性数据飞轮(PE 自动化 + DPO 训练);RL 策略训练和人工经验对齐;多轮半双工消息流控制。

SmartCodeTech的博客 755

得物推荐系统诊断 Agent:从 “调接口” 到 “会思考”|AICon 演讲整理

本文是得物技术专家在 AICon 上海演讲整理的技术实录。AICon上海2026_全球人工智能开发与应用大会暨大模型应用生态展_InfoQ技术大会「得物推荐 AI Harness 工程化实践系列」的中篇内容,本系列共三篇连载。本篇(中篇)进一步详解得物推荐复杂业务场景下,AI代码从生成、防护校验到安全上线的完整技术体系、自研AI Harness整体架构框架、全流程安全防护机制、混合智能体核心算法实现,以及工业级工程落地的实战细节。

SmartCodeTech的博客 1365

得物 OceanBase 落地实践

得物选型OceanBase多模数据库应对业务挑战,通过验证其高可用架构、存储压缩技术及混合负载处理能力。测试显示OceanBase在复杂查询场景性能较MySQL提升130-200倍,在高并发TP/AP混合场景表现优异,存储成本降低40%+。通过DBA内部报表业务试点验证其稳定性后,逐步推广至核心业务场景,优化数据库技术栈,实现性能与成本的双重收益。

SmartCodeTech的博客 1385

AI UITester:AI Native 的 UI 自动化测试新范式|得物技术

ai_uitester 代表了 AI Native 的 UI 自动化测试新范式:这不仅是工具的升级,而是测试范式的转变 ------ 从 "代码驱动" 转向 "视觉驱动",从 "人工调试" 转向 "AI 自愈",从 "三端分离" 转向 "统一抽象"。

SmartCodeTech的博客 780

从狂野代码到按目标生产:得物推荐 AI Harness 的工程化实践|AICon 演讲整理

本文是得物技术专家在 AICon 上海演讲整理的技术实录。「得物推荐 AI Harness 工程化实践系列」的开篇内容,本系列共三篇连载。将系统拆解得物推荐复杂业务场景下,AI 代码从生成、防护校验到安全上线的完整技术体系,逐一详解自研 AI Harness 整体架构框架、全流程安全防护机制、混合智能体核心算法实现,以及工业级工程落地的实战细节。本篇(上篇):将整体介绍团队自研的 AI Harness 体系,包括建设思路、全生命周期防护机制、混合智能体架构及落地效果。

SmartCodeTech的博客 1082

从表单到 Agent:得物社区活动搭建的 AI 实践之路

一场营销活动从策划到上线,运营要在三个系统间跳转 10 + 次、填写 40 + 个字段。我们用 AI 重新设计了这条链路 —— 从 “AI 帮你填表单” 到 “两阶段 Agent + 聚合工作台”。这篇文章记录的不是技术细节,而是这条路上的选择和反思。

SmartCodeTech的博客 745

从埋点需求到规则资产:Hermes Agent 重构得物数仓工作流

埋点和指标需求中,消耗数据承接方的不是生成答案,而是补齐证据链、对齐历史口径、识别下游影响,并在生产写入前留下可追溯的确认记录。本文数据承接方指承接业务需求的数据同学或业务合作伙伴;后文讨论内部研发、元数据、查询和门禁能力在流程中的角色。

SmartCodeTech的博客 657

让 Claude Code 拥有自我进化和记忆系统|得物技术

本文记录了为 Claude Code 构建的一套持久化记忆与自我学习系统的设计思路与实现细节。这套系统让 AI 助手能够跨越会话边界记住用户习惯,并在每次对话结束后自动提炼行为规律和系统信息,通过向量检索快速提取关键信息,下一次对话时主动应用,逐步进化为更懂你的编程伙伴。

SmartCodeTech的博客 994

用 LLM Agent 重构告警排查流程|得物技术

告警排查需频繁切换日志、APM、链路追踪等多个平台,耗时 10~30 分钟,且高度依赖个人经验。我们做了 Troubleshooter——用 LLM Agent 自动完成数据采集、根因分析和处置建议生成。上线后中位数排查耗时从 20 分钟降到 4.4 分钟,覆盖 11 个服务和 10+ 种告警类型。

SmartCodeTech的博客 1008

HorizonVault 技术深潜:如何在 HDD 上做出 100GB/s+ 级大吞吐分布式存储|得物技术

HorizonVault是一款面向Kafka远程存储的高吞吐分布式存储引擎,通过分布式并行写入和状态感知调度解决冷数据存储的三大核心问题:吞吐瓶颈、性能抖动和恢复能力。系统采用分层架构,Meta负责全局资源调度,Broker处理请求路由,Store实现本地磁盘管理,形成完整的写入治理链路。通过将HDD磁盘提升为一等资源,实现顺序追加写入、多盘并行和慢盘隔离,在保证高吞吐的同时控制延迟。存储结构采用DiskStore组织磁盘资源,LogSegment顺序写入数据,IndexSegment定位读取,Change

SmartCodeTech的博客 892

Claude Code Harness 工程:数仓侧落地方案|得物技术

Harness 工程通过职责分层实现研发流水线可靠性提升。Claude 负责需求理解与代码生成等语义层工作;hooks 负责规范检查等确定性执行;Subagents 隔离血缘查询、自测等高 token 操作;Memory 承载跨会话状态持久化。四层协同使数仓 AI 开发从"对话式辅助"转变为"规则驱动的自动化流程"。

SmartCodeTech的博客 1103

BP Claw 破解 AI 编码输入难题 ——FlinkSpec 需求智能化实践|得物技术

本文为 FlinkSpec 系列之开篇,亦是这场工程化变革的序章。BP Claw 所立之处,不过链路之源。FlinkSpec 所图,乃以 AI 之力,将实时数仓从需求落地至验收上线的全程工序,熔铸为一套精密自洽、生生不息的智能工程体系。宏图未竟,后续系列将逐章揭幕,敬请期待!

SmartCodeTech的博客 1039
上一篇: 【得物技术】无侵入式mock平台在得物的实践
下一篇: 【得物技术】dubbo系列之-序列化
得物技术
得物技术 得物技术官方账号 得物技术官方账号
博客等级 码龄6年 2492粉丝 408原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值