【得物技术】推荐系统是如何做排序的

引言

信息时代到来以后,我们被各种各样海量的信息所淹没,从新闻、广告、电商、直播、短视频等各种涉及这些场景的APP中,大量个性化的信息被推送到我们眼前。例如在使用得物APP购物的过程中,我们也常常会听到这样的问题,为什么会给我推这双鞋/这件衣服?为什么浏览收藏过的商品反复出现在推荐流中?推荐流是怎么猜测我的喜好的?推荐的排序逻辑是怎样的,都考虑了哪些因素?能不能主动增加某些类目的曝光量?这些种种的问题,都和我们的排序模型、排序逻辑有关,下面就让我们来聊聊推荐系统中是如何对商品做排序的。

图1. 得物APP首页推荐瀑布流

 

推荐系统

首先来简单说一下推荐系统的基本架构,借用youtube论文中的一张图片来说明。推荐系统的核心目标是从我们的总商品库中,为用户挑选出他最感兴趣的一部分商品,从而节省用户时间,也提高平台的转化效率,为交易的顺利进行提供助力。除开一些工程实现部分的细节,整个过程可以大致分为两个阶段,即召回(candidate generation)和排序(ranking),其中召回的任务是从海量商品中选取部分用户“大概率”感兴趣的商品集,而排序则负责将召回选出来的这部分商品仔细分析,按照用户可能感兴趣的程度(probability),从高到低进行排序,展示给用户观看,整个过程在毫秒级的时间内完成。

图2. 引用自论文:Deep Neural Networks for YouTube Recommendations

 

召回层面的策略和逻辑有很多,也演化了很长一段时间,不过这不是我们今天聊的重点,我们来详细聊聊,当我们拿到了召回结果,大概在一万件以内的规模下,模型是怎样确定他们的先后顺序的,机器怎样自动化地计算出分数来评估用户对他们的感兴趣程度的。

排序模型的发展也有很长一段时间了,从互联网逐渐兴起开始,为用户快速筛选出有价值的信息一直是一件非常核心的事。我们不妨来看看,为了完成这项任务,都经历了哪些演变过程。

先看一个简单例子,一位女性用户来到我们平台,我们可以拿到的信息有她的性别、访问时间、行为历史记录等,假设她之前逛了逛衣服,收藏了一双鞋,最近又在浏览吹风机,而我们的召回候选集中又恰好有衣服、鞋和吹风机,我们应该怎样来定义排序的逻辑呢?

规则学习

解决问题的第一阶段,往往是依赖于直觉的,直觉告诉我们,每一个和用户或者是商品有关的信息,都会影响到用户的决策,这之中又必然存在着一定的数量关系,排序便有了最初的思路:人工规则。顾名思义,就是根据平台运营人员对业务的熟悉程度,来直接定义物品的先后顺序,例如平台最近某件衣服是爆款,卖的很好,所以要排在前面,尽可能让顾客看到,考虑到个性化因素,这位又是女性用户,那么就把最近所有女性用户购买的商品做一个统计,按照销量从高到低排序,或者更近一步,某个地区的女性用户,最近收藏过鞋子的某地区的女性用户….只要划分用户特定维度后的数据流足够多,规则足够明确,最终所有商品对一个具体用户都会有一个排序结果,一个粗糙的推荐排序策略也就成型了。

那么以上策略是否就是我们的排序方案呢?显然并不是的。以上方案有两个不太合理的地方:

  1. 人工的策略会因人而异,很难有一个统一的标准,而且几乎不可能把所有信息整合在一起利用起来。

  2. 优化的目标模糊,依赖于线上实践结果来评价好坏,总体而言大家都是为了让平台更好,但是每一个具体的策略,到底是优化点击率还是转化率还是用户的停留时长、下拉深度,很难在给出规则时对结果有一个预期,线上实验的成本很高,而且方案的迭代周期可能是无限长的(人总能想到各种不同的规则组合)。

有没有一个方案能整合利用所有能拿到的信息,并且在上线前对结果有一个合理预期,甚至不需要上线实验,离线就能评估策略的好坏呢?这个时候,机器学习方法出现在了我们眼前。

 

机器学习

解决问题的第二阶段,就是在直觉的基础上引入可量化的模型。模型是一个比较抽象的词,在这里它指的是对一种映射的抽象描述,即 f(context,user,item)—> score,任何能用具体公式提供这个分数计算逻辑的方案,都可以叫做模型。衡量一个模型好坏的标准,就是这个假设出来的映射关系与现实中真实的内在关系的距离。比如个子越高,体重就越大,就是一个根据身高信息去映射体重信息的线型模型,这个模型显然是不严谨的,但在很多时候也是成立的。说回我们的排序模型,我们需要设计一个方案,从用户、商品和上下文信息(事件发生的时间、场景等客观信息)中,提炼出用户对商品的偏好程度。

一个能同时整合所有信息,在形式上足够简单,在工业界的大数据和高并发下又拥有足够稳定性的模型,早就已经被数学所给出,那就是著名的逻辑回归模型,形式如下:

图3. 逻辑回归函数图像

 

这个模型的形式虽然简单,但思想足够深刻,里面整合了数学界在参数估计、信息论和凸优化等方向的研究成果,将变量用线性的方式结合起来,把定义在(-∞,+∞)的自变量映射到(0,1)的值域上,这里的(0,1)之间的分数可以理解为用户感兴趣的概率,整个过程便成了一个点击率预估问题。当我们用线上实时收集到的用户行为数据作为基础,把用户的点击行为转化为0或1的训练目标,便可以用很成熟的数学方案快速地求出公式中的所有最优化参数w,从而确定下最终的计算过程。虽然逻辑回归模型在学术界已经是基础中的基础,但由于其稳定性和极高的计算效率,工业界也依然有很多业务场景中使用这套模型作为线上服务的主要担当或者降级备用方案。

除了逻辑回归以外,还有许多机器学习的模型被应用在排序环节中如NB, SVM和GBDT等,其中比较成功的模型是GBDT,这里面又以陈天奇博士提出的XGBoost模型最为著名,在工业界也有广泛的应用。GBDT模型是以决策树模型为基础提出的组合模型,树模型的特点是更加符合我们人对事物的判断方式,大概的思想类似下图:

图4. 树模型决策思路简述

 

刚才提到的GBDT模型就是将以上这种决策行为给定量化,并且使用多棵决策树进行组合决策的结果,相比于逻辑回归模型,它提出了一个更符合人类直觉的视角,将排序问题拆解为对若干特征的而二分类组合,将各种用户和商品特征在决策过程中进行了交叉,实践中效果往往是更优的,这也符合我们提到的“模型是对真实决策关系的模拟”这一观点。但是树模型也有它的不足,比如它优化性能较低,对大数据量的计算性能较差,对增量训练的支持度较差等等。

总的来说,无论是逻辑回归还是GBDT模型,都是机器学习在推荐领域很好的实践和探索,他们各自都还存在一些明显的不足,业界针对这些不足的地方也都有各种补充和优化的方案,经过几年的迭代,伴随着理论和硬件条件双重发展的基础上,推荐系统迎来了它的深度学习时代。

 

深度学习

解决问题的第三阶段,是在成熟的工业界方案基础上,加入自己对具体业务场景的理解。逻辑回归公式简洁,性能可靠,GBDT思路清晰,效果出色,但他们是否就是问题的最终解决方案呢?显然还是不够的,如上面提到的,他们各自都还有不少的问题需要解决:

1. 逻辑回归对特征间关系的刻画过于简单,对特征仅仅做了线性组合,与现实中大量的非线性关系的存在是违背的,比如女性、上海、数码产品这几个特征的简单加减法来描述用户购买倾向,与我们的认知不符,这三个特征和购买意愿的关系,更有可能是非线性的,而GBDT在处理特征组合时使用的方式也比较单一,难以刻画更为复杂的组合关系。

2. 数据的排序逻辑过于单一,都是以点击率作为目标,单一目标的问题在于,很容易导致结果缺乏多样性,用户此刻想看数码产品,并不意味着满屏的推荐都应该变成数码产品,这可能反而会降低用户体验。

从解决这两个问题出发,我们的思路又细分到了两个方向上,分别是拓宽模型的复杂度和多目标下的后排序干预。

第一个问题是拓宽模型的复杂度,在具体操作中可以分为两个方面的工作,第一个方面,是在特征组合上尽可能提供复杂的特征,比如我们例子中,本身模型输入的信息是性别、地区、用户行为、商品属性,但是我们可以人工定义一些其他的复杂特征,比如用户是否购买过同类商品,用户对同品牌商品的点击次数等,通过增加特征的复杂度,来增加模型输入的信息量,把一些非线性的关系转化到线性模型上来解决,这样做的好处是有效节省了计算资源,也减轻了线上推断所带来的压力,对效果提升也很有帮助;不过弊端也是明显的,那就是整体思路又回到了我们一开始人工规则的老路上,依赖于人的经验来做优化,不过这里的人由平台运营换成了算法工程师。所以能不能把拓宽非线性关系的工作也交给机器来完成呢?这便是第二个方面,引入深度学习的模型。

 

图5. Google提出的模型的Wide&Deep模型架构

 

深度学习在如今的工业界早已是大名鼎鼎,从2016年起,在谷歌的W&D模型的影响下,工业界的推荐系统开始纷纷效仿,大踏步地迈进了深度学习所统治的时代,如今各大厂的主流推荐模型,都是在深度学习的基础上做的开发,关于深度学习的理论知识,相关讲解有很多,这里就不详细展开。对于推荐系统来说,深度学习所解决的核心问题,就是特征间非线性关系的自动化挖掘。这里面的逻辑,可以说是一个“用魔法来打败魔法”的过程。我对这个问题的理解是这样的,特征间正确的组合方式是存在的,只是组合成几何级增长,遍历尝试的操作代价难以承受,这便是第一重“魔法”;而深度学习从理论上证明,只要给定入参和目标,它可以拟合任意复杂的函数,但是最终你也不会知道拟合出来的函数具体形式是怎样的(可解释性目前为止也是学术界的一个很重要的方向),这便是第二重“魔法”;一边是你无法遍历的组合结果,另一边是你无法解释的组合结果,但最终产出了符合你预期的业务效果,所以我称之为一个用魔法去打败魔法的过程,这也是业内深度学习算法工程师又被戏称为“炼丹工程师”的原因,很多时候工程师对于模型的具体作用原理也是难以解释的,唯一知道的,就是它是否“有效”。

图6.阿里巴巴提出的ESMM多目标网络

 

图7.阿里巴巴提出的重排序网络

 

关于逻辑回归的第二个问题,多目标和多样性,就不能简单通过拓宽模型复杂度来解决了。多目标优化和后排序干预也是现在推荐排序侧很重要的逻辑,由于深度学习这个魔法特别好用,所以业界也产出了很多相关的理论模型,比如阿里的ESMM和Re-ranking模型。不过由于后排序这块是直接影响到用户最终体验的,不可解释的魔法结果在目前的实用性和可控性上还是比不上能够灵活调整的规则,因此在模型排序的结果环节,又加入了一些人工规则,比如类目打散、品牌打散和曝光过滤等,来满足一些主观需求。最终的排序流程,还是一个计算机模型和人工规则互相扶助来实现的。

 

总结

以上便是推荐系统的大体排序逻辑,以后的模型还会越来越多,也未必都会局限在深度学习的领域,整个业界也还在探寻什么样的模型能以最小的代价刻画出人与物的协同关系,这个问题很可能没有一个标准答案,需要算法工程师根据具体的业务场景和业务特点去构造和处理排序的问题。最终的排序结果是在训练数据、特征选择、模型结构和后排序逻辑的共同干预作用下决定的,数据会是排序逻辑的核心,而不是人工主观意识在驾驭和操纵的。虽然小的细节还在不断地调整和改变,但是大的方向一定是以更复杂的特征、更合理的模型结构、更高效的迭代方式,更灵活的规则调整来实现更好的业务指标。

 

参考资料

[1] Covington, Paul, Jay Adams, and Emre Sargin. "Deep neural networks for youtube recommendations." Proceedings of the 10th ACM conference on recommender systems. 2016.

[2] Cheng, Heng-Tze, et al. "Wide & deep learning for recommender systems." Proceedings of the 1st workshop on deep learning for recommender systems. 2016.

[3] Ma, Xiao, et al. "Entire space multi-task model: An effective approach for estimating post-click conversion rate." The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018.

[4] Pei, Changhua, et al. "Personalized re-ranking for recommendation." Proceedings of the 13th ACM Conference on Recommender Systems. 2019.

[5] Chen, Tianqi, and Carlos Guestrin. "Xgboost: A scalable tree boosting system." Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining. 2016.

 

文|John

关注得物技术,携手走向技术的云端

相关推荐

压测AI Agent 治理与评测调优实践|得物技术

本文介绍智能分析Agent在压测调试中上线后的治理闭环建设:通过Langfuse记录完整执行链路,结合用户反馈与Trace还原问题根因;利用CLI Mock固化证据数据集,实现相同场景下的回测验证。基于固定案例与五档评分机制,持续评估方案质量、延迟与成本,确保修复有效且无新问题引入,推动Agent能力迭代优化。

SmartCodeTech的博客 316

从中心调度到自驱协作多 Agent 架构的三次反转|得物技术

本文探讨多Agent系统中的控制权分配问题,提出三大协作架构:Master Agent(中心调度)、任务看板(共享状态)与Advisor(轻量咨询)。通过划清上下文边界与模型边界,强调应以信息相关性而非职业标签划分Agent。三种模式分别将决策权集中于中心、下放至共享状态、再下沉至执行者,形成控制权逐步下沉的演进路径。案例显示,合理设计可提升复杂任务的并行性、弹性与可维护性。

SmartCodeTech的博客 420

Jev 实战:为AI工作流引入轻量决策层 x10倍提速|得物技术

完成这三个场景后,我对适用边界有了更明确的认识:它们都可以先定义答案范围,再根据判断结果驱动下一步操作。接入时,我会优先明确输入、选项、采纳条件和兜底路径,再评估Jev是否适合承担这一环节。结合这些实践,我更容易理解Jev(TypeSafe System One)作为专用结构化决策模型不生成自然语言,而是返回带概率的判断结果。后续接入时,我会继续从脚本中边界明确的判断任务开始,分别验证准确性、耗时和费用,再决定是否扩大使用范围。下面整理了相关能力、限制和接入要点,便于查阅。

SmartCodeTech的博客 346

国产算力·昇腾 910C 大模型推理优化(下):源码修改与算子优化,提速30%|得物技术

本文延续上篇,深入vllm-ascend源码优化:通过多流重叠实现MoE共享专家并行计算,消除冗余事件开销,并解除与FUSED_MC2的互斥限制,实现c=1下TPOT从8.2ms降至8.0ms;优化decode阶段host侧开销,引入状态跟踪跳过冗余拷贝;设计Block Table CPU快路径,规避小batch下NPU kernel启动延迟;针对GDN层融合L2Norm至recurrent kernel,减少算子调用与内存往返。综合优化后推理性能显著提升,形成可复用的昇腾910C大模型推理优化方法论。

SmartCodeTech的博客 248

国产算力·昇腾 910C 大模型推理优化(上):镜像更新与参数调优,提速 40%|得物技术

文中详细给出每一项优化的动机、实现(含具体源码改动路径与关键代码片段)、验证数据与踩坑记录(包括十余项实测无效或负向的尝试),希望为同样在国产算力上做推理优化的团队提供一份可直接复用的工程参考。

SmartCodeTech的博客 227

动态规则的 Agent 实践:用确定性工程驾驭 LLM 的资产智能验收

面对财务验收中规则多变、材料非结构化、核对复杂等痛点,传统规则引擎难以应对。系统采用“规则即配置”思路,由大语言模型(LLM)负责理解合同、扫描件等非结构化材料并执行语义比对,工程系统则保障流程编排与可追溯性。通过异步处理、幂等设计、三类流量隔离及双通道(文本/图像)处理,实现高效稳定运行。结合用户反馈构建自动标准答案,辅以试跑、回测与发布门禁机制,形成闭环质量体系。底层采用确定性工作流架构,确保行为可预期、可测试,真正实现灵活规则的快速迭代与安全上线。

SmartCodeTech的博客 345

发一张图,它居然“跃“出屏幕了?一文读懂得物 3D 空间图片技术实践

3D 空间图片功能的落地,涉及模型生成、内容分发、客户端渲染之间的一系列取舍。本文重点分享如何生产出高质量、小体积的模型,以及如何在手机上流畅运行。

SmartCodeTech的博客 555

别再只卷向量检索了,得物交易搜索如何用“生成式”实现召回范式跃迁?

你搜"af1",它得给你"空军一号"。这一年,得物交易搜索把召回从"做选择题"改成了"写答案"——不再从商品池里"找"最像的,而是让模型自己"生成"你真正想要的。从 LLM 语义索引到 HLLM、语义 ID,搜索是怎么从"检索"走向"生成"的?

SmartCodeTech的博客 594

指标平台:从语义底座到智能消费的实践路径|得物技术

这篇文章想做的,不是在本体化的宏大叙事上再叠加一层理论,而是把我们在真实落地中验证过的路径讲清楚:语义底座怎么从零建立起来、怎么保证质量不失控、怎么支撑 Text2SQL 和 AI Coding 两条消费主线,以及沿着这条路径往前走,下一步该往哪个方向发力。

SmartCodeTech的博客 317

企业级 MultiAgent 落地:Plan 模式与主子 Agent 协作|得物技术

基于 AgentScope Java 的企业级 MultiAgent 平台,为研发、数据分析和知识问答等场景提供统一的模型调用、工具接入、任务编排、流式输出与运行追踪能力。

SmartCodeTech的博客 302

得物小摊 AI Native 演进实录:用 Harness 构建可控 AI 交付

AI Coding 一个人用很顺手,进了团队就漏:指令没人审、经验难沉淀、过程看不见、链路不闭环。作者团队基于 Multica 做了 EP-Harness,把 Agent 当成员管,给它套一层可执行、可观察、可治理的 Harness,并让反馈闭环。成果:可追溯决策、多 Agent 协作,高频异常从每 4 小时 2400 多条降到个位数,对得物技术补上团队级 AI 协作关键一环。

SmartCodeTech的博客 543

企业级 MultiAgent 的记忆系统:短期上下文与四层记忆架构实现|得物技术

在 MultiAgent 平台中,Agent 的"记忆"能力是实现智能对话和个性化服务的核心资产。本文深入剖析 Agent 记忆系统的设计理念与实现细节,重点解析长期记忆架构的写入与加载流程,涵盖 LLM 智能判断、语义检索、Token 预算控制、冲突处理等关键技术,为开发者提供完整的技术实现参考。

SmartCodeTech的博客 502

EP-Harness:从个人 AI Coding 到团队级 Agent 工作流|得物技术

AI Coding 个人用得爽,一到团队就崩。EP-Harness 把 Agent 从聊天工具变成团队协作成员——可管理、可追溯、可闭环。落地后高频异常从 2400+/4h 收敛到个位数。

SmartCodeTech的博客 694

得物知识问答:复合检索 Agent 的系统设计实践

从"搜到什么用什么"到"搜→筛→挖→验"自主决策闭环——我们造了一个有判断力的 RAG Agent,不是套壳。

SmartCodeTech的博客 736

实战从零开始构建一个Coding Agent:Violin |得物技术

理解了 coding agent 的构建原理,也就掌握了理解其他 agent 的一把钥匙。笔者对每天都在使用的 agent 原理很感兴趣,于是决定自己写一个:violin。

SmartCodeTech的博客 927

AI Native 交易核心系统的研发范式|得物技术

如何改造旧研发流程适配 AI 编码?本文提出五道标准化关口治理思路,依托 Claude Code Spec-Driven 插件打通需求澄清、方案设计、TDD 落地、门禁管控与埋点监控,构建带人工确认门控的完整工作流,以五层自底向上架构实现 AI 编码规范化落地。

SmartCodeTech的博客 975

推荐系统体验的数字化突破:得物自动化评测平台的技术实践|AICon 文章整理

「得物推荐 AI Harness 工程化实践系列」的末篇内容,本系列共三篇连载。本篇(末篇)详解得物推荐评测平台的完整技术体系:从主观体验量化到大模型自动化评测流水线,涵盖多维度指标设计、人机协作提示词校验闭环、分布式任务调度与成本精控等核心工程实现,以及单周百万级审计需求下实现 91% 资源成本优化的工业级落地实战细节。

SmartCodeTech的博客 1495

RAG 核心概念与原理:Chunking、Embedding、相似度、HNSW 与多路召回|得物技术

决定 RAG 效果的关键不在大模型,而是文本切块、查询改写、多路召回与精排。合理切块存好知识库内容,向量匹配抓语义、BM25 匹配关键词互补。先优化用户提问,快速召回一批相关文档,再用精排模型精细筛选,整套检索流程配合到位,问答准确度才会明显提升。

SmartCodeTech的博客 1082

从“机械应答“到“服务伙伴“:得物高可控智能客服的 Agent 工程实践|AICon 演讲整理

本次分享围绕以下核心技术展开:客服 Agent 挑战与架构设计(Single-Agent→Multi-Agent→Harness);高可控性数据飞轮(PE 自动化 + DPO 训练);RL 策略训练和人工经验对齐;多轮半双工消息流控制。

SmartCodeTech的博客 755

得物推荐系统诊断 Agent:从 “调接口” 到 “会思考”|AICon 演讲整理

本文是得物技术专家在 AICon 上海演讲整理的技术实录。AICon上海2026_全球人工智能开发与应用大会暨大模型应用生态展_InfoQ技术大会「得物推荐 AI Harness 工程化实践系列」的中篇内容,本系列共三篇连载。本篇(中篇)进一步详解得物推荐复杂业务场景下,AI代码从生成、防护校验到安全上线的完整技术体系、自研AI Harness整体架构框架、全流程安全防护机制、混合智能体核心算法实现,以及工业级工程落地的实战细节。

SmartCodeTech的博客 1365

得物 OceanBase 落地实践

得物选型OceanBase多模数据库应对业务挑战,通过验证其高可用架构、存储压缩技术及混合负载处理能力。测试显示OceanBase在复杂查询场景性能较MySQL提升130-200倍,在高并发TP/AP混合场景表现优异,存储成本降低40%+。通过DBA内部报表业务试点验证其稳定性后,逐步推广至核心业务场景,优化数据库技术栈,实现性能与成本的双重收益。

SmartCodeTech的博客 1384

AI UITester:AI Native 的 UI 自动化测试新范式|得物技术

ai_uitester 代表了 AI Native 的 UI 自动化测试新范式:这不仅是工具的升级,而是测试范式的转变 ------ 从 "代码驱动" 转向 "视觉驱动",从 "人工调试" 转向 "AI 自愈",从 "三端分离" 转向 "统一抽象"。

SmartCodeTech的博客 780

从狂野代码到按目标生产:得物推荐 AI Harness 的工程化实践|AICon 演讲整理

本文是得物技术专家在 AICon 上海演讲整理的技术实录。「得物推荐 AI Harness 工程化实践系列」的开篇内容,本系列共三篇连载。将系统拆解得物推荐复杂业务场景下,AI 代码从生成、防护校验到安全上线的完整技术体系,逐一详解自研 AI Harness 整体架构框架、全流程安全防护机制、混合智能体核心算法实现,以及工业级工程落地的实战细节。本篇(上篇):将整体介绍团队自研的 AI Harness 体系,包括建设思路、全生命周期防护机制、混合智能体架构及落地效果。

SmartCodeTech的博客 1082

从表单到 Agent:得物社区活动搭建的 AI 实践之路

一场营销活动从策划到上线,运营要在三个系统间跳转 10 + 次、填写 40 + 个字段。我们用 AI 重新设计了这条链路 —— 从 “AI 帮你填表单” 到 “两阶段 Agent + 聚合工作台”。这篇文章记录的不是技术细节,而是这条路上的选择和反思。

SmartCodeTech的博客 745

从埋点需求到规则资产:Hermes Agent 重构得物数仓工作流

埋点和指标需求中,消耗数据承接方的不是生成答案,而是补齐证据链、对齐历史口径、识别下游影响,并在生产写入前留下可追溯的确认记录。本文数据承接方指承接业务需求的数据同学或业务合作伙伴;后文讨论内部研发、元数据、查询和门禁能力在流程中的角色。

SmartCodeTech的博客 657

让 Claude Code 拥有自我进化和记忆系统|得物技术

本文记录了为 Claude Code 构建的一套持久化记忆与自我学习系统的设计思路与实现细节。这套系统让 AI 助手能够跨越会话边界记住用户习惯,并在每次对话结束后自动提炼行为规律和系统信息,通过向量检索快速提取关键信息,下一次对话时主动应用,逐步进化为更懂你的编程伙伴。

SmartCodeTech的博客 994

用 LLM Agent 重构告警排查流程|得物技术

告警排查需频繁切换日志、APM、链路追踪等多个平台,耗时 10~30 分钟,且高度依赖个人经验。我们做了 Troubleshooter——用 LLM Agent 自动完成数据采集、根因分析和处置建议生成。上线后中位数排查耗时从 20 分钟降到 4.4 分钟,覆盖 11 个服务和 10+ 种告警类型。

SmartCodeTech的博客 1008

HorizonVault 技术深潜:如何在 HDD 上做出 100GB/s+ 级大吞吐分布式存储|得物技术

HorizonVault是一款面向Kafka远程存储的高吞吐分布式存储引擎,通过分布式并行写入和状态感知调度解决冷数据存储的三大核心问题:吞吐瓶颈、性能抖动和恢复能力。系统采用分层架构,Meta负责全局资源调度,Broker处理请求路由,Store实现本地磁盘管理,形成完整的写入治理链路。通过将HDD磁盘提升为一等资源,实现顺序追加写入、多盘并行和慢盘隔离,在保证高吞吐的同时控制延迟。存储结构采用DiskStore组织磁盘资源,LogSegment顺序写入数据,IndexSegment定位读取,Change

SmartCodeTech的博客 892

Claude Code Harness 工程:数仓侧落地方案|得物技术

Harness 工程通过职责分层实现研发流水线可靠性提升。Claude 负责需求理解与代码生成等语义层工作;hooks 负责规范检查等确定性执行;Subagents 隔离血缘查询、自测等高 token 操作;Memory 承载跨会话状态持久化。四层协同使数仓 AI 开发从"对话式辅助"转变为"规则驱动的自动化流程"。

SmartCodeTech的博客 1103

BP Claw 破解 AI 编码输入难题 ——FlinkSpec 需求智能化实践|得物技术

本文为 FlinkSpec 系列之开篇,亦是这场工程化变革的序章。BP Claw 所立之处,不过链路之源。FlinkSpec 所图,乃以 AI 之力,将实时数仓从需求落地至验收上线的全程工序,熔铸为一套精密自洽、生生不息的智能工程体系。宏图未竟,后续系列将逐章揭幕,敬请期待!

SmartCodeTech的博客 1039
上一篇: 【得物技术】推荐系统是如何做召回的?
下一篇: 【得物技术】TDengine在得物的落地应用
得物技术
得物技术 得物技术官方账号 得物技术官方账号
博客等级 码龄6年 2492粉丝 408原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值