【得物技术】推荐系统是如何做召回的?

引言

推荐系统的目的是自动为用户挑选匹配度最高的内容,节约用户信息检索的时间,从而创造价值。淘宝上,数以亿计的商品和店铺内容,最终展现在手机屏幕上的商品只有几十个;抖音中,千万级的短视频内容,每次划屏也只会播放出一个;难道强大的推荐系统真的能在短短几十毫秒之间,把用户对全平台所有商品的兴趣都计算一遍然后选出最好的?即使是得物APP这样内容规模相对较小的平台上,使用算法规则在毫秒级的时间内把用户与所有商品或者内容的偏好关系全部计算一遍也是非常不现实的,但是排序的环节又是必不可少的。那我们应该对哪些内容进行排序才是相对公平而又合理的呢?今天让我们来聊聊,推荐系统中的召回环节。

image.png

图1. 推荐系统示意图(引用自阿里巴巴DIN论文)

 

什么是召回?

相对于排序而言,召回不是一个太常见的词,有一些统计学知识背景的同学可能还会把它和混淆矩阵中的召回率(recall)搞混,其实他们并没有什么关系。推荐系统的召回环节,在文献中常见的翻译有两个,一个是match,即匹配,有点相亲的感觉,为用户先挑选一些合适的对象,然后再一个个细聊(排序);另一个是candidate generate,即生成候选集,有点招聘的感觉,为用户先搜罗一堆简历,然后再一个个面试(排序);从英文的翻译里,我们大概就能觉察出这个词的含义了,就是为了能在进行一个精细化的比较以前,在更广的范围里进行初筛的一个过程,我们称之为召回环节,通常在电商的场景下,我们需要从上千万的商品中,召回几千或者几万个目标,是真正的万里挑一。

在推荐系统的技术演进中,扮演着主力核心角色的是排序环节,也是算法工程师们发力最多的地方,关于推荐系统是如何做排序的,感兴趣的同学可以看笔者的另一篇文章,我们今天的主角是扮演着辅助地位的召回环节,这里面也同样涉及到大量的算法知识。接下来,我们再从最原始的视角出发,来看一看这个领域近二十年以来的技术发展历程。

 

直觉的重要性

直觉是解决问题的第一步。召回作为一个初步筛选过程,我们的目标是尽可能快的定位到一些用户可能感兴趣的商品。还是以招聘来举例子,面对成千上万封的简历,HR也很难一一细看,这个时候,为了节省时间,往往就会出现一些硬性的门槛,比如985/211的学历,或者硕士研究生以上,或者大厂经历之类的,以筛出一部分的“优秀”简历,再一一细审,虽然可能部分“潜力股”的好苗子就这样漏掉了,但这对于公司来说,这样节省时间而且通常也保证了候选人质量。说回我们的推荐系统,在做商品召回时,我们自然而然地便想到了,何不也给商品设置一些门槛,然后符合条件的再排序呢?这便有了最初的召回思路:属性倒排。离线的过程中,根据商品属性,比如销量、新鲜度、点击率、收藏率等一系列指标,每一路指标总能排出个先后高低来,然后每个指标下取前K个商品作为属性的召回列表存储在数据库中,线上用户访问时,直接对某些属性进行召回,从而达到了快速且高质量的目的,剩下的工作便交给了排序环节。

这样简单高效的召回方式是非常符合直觉的,但是作为一个推荐系统工程师,不能仅仅满足于普通的直觉,我们要看到这种做法的不足之处:

1. 召回覆盖率太低。召回仅仅照顾到了各个属性的头部商品,而召回作为排序的上游,返回的结果已经限制了后续可能展示的上限,作为一个电商平台,整个推荐流中只能展示极少数的头部商品,这个问题是致命的。

2. 召回没有个性化。对于每个用户,待排序商品都是完全一样的,排序模型做的再好,发挥的空间也是极其有限的,用户看到的很有可能都是同一批商品。

为了解决这些问题,我们需要对召回方案进行第一次革命。

 

矩阵革命

寻找合适的数学模型是解决问题的第二步,一个领域的革命,通常和引入数学模型来描述问题是分不开的,这次我们把目光投向了一个熟悉的概念——矩阵。为什么是矩阵?让我们先来看一个小故事:

这个故事发生于20世纪90年代的美国超市中,超市管理人员分析销售数据时发现了一个令人难于理解的现象:在某些特定的情况下,“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中,经过后续调查发现,这种现象出现在年轻的父亲身上,父亲在外出给孩子买尿布时会顺便给自己买一些啤酒。

故事讲完了,这和召回以及矩阵又有什么联系呢?故事中反应出来一个问题:两件看似不相关的商品会被人的行为联系起来,商品与商品之间可以产生“行为相关”(两个商品被同一人买过),而人与人之间也可以产生“商品相关”(两个人买过相似的商品组合),利用这种相关关系,我们产生了一个很棒的想法:在做召回时,可以给某一用户召回与他相似的用户曾经买过(但他还没有买)的商品,或者给他召回他刚买过的某商品(比如尿布)行为相关的其他商品(比如啤酒)。那如何实现这个想法呢?当我们画出一个记录表,纵向罗列出n个用户,横向罗列出m个商品,在纵横交错的地方记录下用户与商品的互动记录(0,1,2,3…),得到一个nxm的表格,这便是矩阵,我们把它称为邻接矩阵,基于这个矩阵所构建出来的推荐策略,便发展成了早期推荐场景最著名的模型:协同过滤(Collaborative Filtering,简称CF)。接下来让我们进入数学的世界,来看一看矩阵是如何解决推荐问题的。

image.png

图2. 邻接矩阵示意图

 

数学中,我们需要把抽象的概念具像化,定性的分析定量化。我们刚才提到的“相似”、“相关”的概念,映射到数学中需要具体的公式来描述,这个时候我们注意到了我们所构建的矩阵。矩阵是向量的二维拓展,同一个邻接矩阵W可以有两种方式描述:

 

从这个关系里我们发现,无论是物品还是用户,都可以用一个固定维度的向量来表示,而要度量他们之间的“相似”或者“相关”关系,很自然的就会想到用向量之间的距离来定量描述,计算向量间距离常见的方式有Jaccard距离,欧几里得距离,余弦相似度或者曼哈顿距离等,具体就不一一介绍。还有一件有趣的事情是,这里向量的维度似乎是依赖于用户数量和商品数量的,并且商品向量和用户向量维度并不一定相同,无法放在同一空间中进行度量,有没有一种方案能够人工定义向量的维度呢?数学里给出的最简单的方式叫做矩阵分解:

 

参数k可以人工定义出来,如下图:

image.png

 

图3. 邻接矩阵分解示意图

 

这样,我们就实现了,商品和用户的向量化表示,并且我们成功地度量了商品与商品、用户与用户的相关关系,再转化到同一维度k后,我们甚至能够直接计算出商品和用户之间的距离关系。以此延伸出来的方法有item_cf,user_cf, model_based_cf 分别对应我们上面提到的为顾客推荐已购商品的相似商品,相似用户的已购商品,以及直接计算和用户距离近的商品。整个思路清晰自然,也成功用数学描述了推荐问题,在工程上提前离线计算好相关关系,线上推断时根据用户个性化的行为直接从对应索引中取相似推荐结果召回,这便是至今仍被广泛使用的协同过滤的召回策略,它比较有效地解决了之前提到的腰部尾部商品的召回问题和用户个性化召回的问题,在这个思路上近些年也有许多改进和沿伸的算法,比如基于图结构相似度的swing算法等,这里就不详细介绍了,总的而言,这一类型方法的核心思路就是对用户和商品间的行为互动关系进行充分的挖掘,然后定量计算出他们的相关度。

 

深度学习

结合具体业务场景的深入思考,是解决问题的第三步。协同过滤给了我们巨大的启发:用户和商品这种抽象的概念,是可以用具体的向量来表示的!再仔细回想上面的步骤,这个向量是怎样产生的?可以观察到它仅仅用到了用户与商品的历史互动行为数据,如果是一位全新的用户,或者是全新的商品,并没有参与过交易上的互动(在推荐中被称为冷启动问题),那么这个向量还存在吗?或者说是不是应该有一套其他的方案来定义这个向量呢?答案是肯定的,首先除了互动数据以外,显然还有很多信息是有价值的,比如用户的性别、年龄段和手机设备型号等;商品的类目、品牌、颜色和奢侈度等级等;这些信息被称为side information或者content features,是对主体(用户或者商品)的某一属性的描述,而对这些信息进行向量化编码,可以大大提高向量使用的适用范围,解决冷启动问题。其次对于大量信息的编码问题,在深度学习出现以后,特别是谷歌在自然语言处理中提出了词嵌入(Embedding)的概念之后,已经是深度学习领域非常热点的问题了,我们可以统称为Embedding问题。所谓的Embedding技术,用一句话介绍,就是将世间的万事万物,从人到物,从具体到抽象的所有概念,都可以放在一个固定的向量空间,用数学进行描述的方法。再往深入的说就到哲学了,我们就此打住,知道深度学习的方案可以实现信息的向量化就可以了。顺便一提,我们上面提到的矩阵分解技术,当初在学界被称为“隐向量”表示,也是Embedding方案中的一种,Embedding并不仅仅存在于深度学习之中。

image.png

图4. 双塔结构示意图(引自论文Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations)

 

结合深度学习的embedding技术加上我们推荐场景中具体的人与物的关系,再加上自然语言处理中有类似的先例(处理query与document关系的DSSM模型),推荐中自然地引入了一种被称为“双塔”的模型结构,它大致如图所示。从图中我们可以理解到“双塔”这个名字的由来,两边都是一个塔状的结构,左边是用户塔右边是商品塔,塔底是我们输入的信息,通常是Id+side information。长度不受限制;塔顶是两个固定维度的向量,分别代表embedding后的结果,为了在同一空间中进行计算,两个塔顶的向量维度是相同的,并在最顶端做交互计算相似度。为了学习这个网络结构,通常会以业务场景中的正负样本事件(点击、收藏、购买)来做为有监督分类模型学习的目标,用计算出的相似度去逼近拟合这个目标。

在模型训练完成之后,我们就可以把两个塔的计算图单独拆开来使用:离线定时任务中,提前将商品库中所有商品输入右塔来生成对应的item embedding向量;在线上推断时,把左塔部署在线上服务器中,即时地根据用户信息去生产对应的user embedding向量,再用邻近距离检索的方式,从商品向量中检索出距离最近的N条商品,作为召回结果参与排序,这便如今业界主流的深度双塔召回方案的大致模型。这之中可能会有读者好奇,如果商品量巨大(比如上百万),线上推断时能在很短是时间内完成距离的邻近检索吗?这个答案是可以的,10ms内可以从百万级商品中召回300个最邻近的向量,至于是如何做到的,笔者会在未来的博客中做更详尽的介绍。

 

一些新的动向

 image.png

图5. 阿里巴巴TDM模型示意图

image.png

图6. 字节跳动Deep Retrieval模型示意图

讲到这里,我们对召回方案的发展也了解的差不多了,在双塔结构之后,学界也一直在探索着一些其他的可能性。双塔本身存在一些局限性,一是用户向量只有一个,结果是通过邻近搜索得到的,最终的召回结果会是以用户为中心点的一个球状簇中,这就会损失掉一些多样性;二是用户与商品间的交互关系过于简单,距离度量的方式并不能表达很多高阶的复杂关系。关于第一个问题,工业界暂时使用多路召回的方式进行修正,第二个问题有一些大厂已经在模型侧提出了一些新颖的解决思路,比如阿里巴巴在18年提出的TDM模型,用复杂模型+最大兴趣堆的数据结构,探索了树模型在召回中应用的可能性,并在阿里巴巴中实际落地;字节跳动也在20年的会议论文中提出了一种叫做Deep Retrieval 的方案来讨论召回的新思路。相信召回这个领域在近几年内还会有很多新的突破和变化。

 

结语

总而言之,召回作为推荐系统一直依赖的重要环节,自诞生以来不断发生着巨大的变化。它的核心是效率,要在尽可能短的时间内,去兼顾商品的多样性,用户的个性化,结果的实时性等问题。一个终极形态的召回方案,应该是可以取代排序阶段的,直接在召回时就拿出了所有商品的相关度作为排序结果,同时兼顾效率和准确率,但目前来看,这样的方案还比较模糊而遥远,值得学界的学者和工业界的算法工程师们共同去努力探索,一起把这条路走下去。

 

参考资料

[1] Zhou, Guorui, et al. "Deep interest network for click-through rate prediction." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.

[2] Yi, Xinyang, et al. "Sampling-bias-corrected neural modeling for large corpus item recommendations." Proceedings of the 13th ACM Conference on Recommender Systems. 2019.

[3] Zhu, Han, et al. "Learning tree-based deep model for recommender systems." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.

[4] Gao, Weihao, et al. "Deep Retrieval: An End-to-End Learnable Structure Model for Large-Scale Recommendations." arXiv preprint arXiv:2007.07203 (2020).

[5] Schafer, J. Ben, et al. "Collaborative filtering recommender systems." The adaptive web. Springer, Berlin, Heidelberg, 2007. 291-324.

 

文|John

关注得物技术,携手走向技术的云端

相关推荐

压测AI Agent 治理与评测调优实践|得物技术

本文介绍智能分析Agent在压测调试中上线后的治理闭环建设:通过Langfuse记录完整执行链路,结合用户反馈与Trace还原问题根因;利用CLI Mock固化证据数据集,实现相同场景下的回测验证。基于固定案例与五档评分机制,持续评估方案质量、延迟与成本,确保修复有效且无新问题引入,推动Agent能力迭代优化。

SmartCodeTech的博客 316

从中心调度到自驱协作多 Agent 架构的三次反转|得物技术

本文探讨多Agent系统中的控制权分配问题,提出三大协作架构:Master Agent(中心调度)、任务看板(共享状态)与Advisor(轻量咨询)。通过划清上下文边界与模型边界,强调应以信息相关性而非职业标签划分Agent。三种模式分别将决策权集中于中心、下放至共享状态、再下沉至执行者,形成控制权逐步下沉的演进路径。案例显示,合理设计可提升复杂任务的并行性、弹性与可维护性。

SmartCodeTech的博客 420

Jev 实战:为AI工作流引入轻量决策层 x10倍提速|得物技术

完成这三个场景后,我对适用边界有了更明确的认识:它们都可以先定义答案范围,再根据判断结果驱动下一步操作。接入时,我会优先明确输入、选项、采纳条件和兜底路径,再评估Jev是否适合承担这一环节。结合这些实践,我更容易理解Jev(TypeSafe System One)作为专用结构化决策模型不生成自然语言,而是返回带概率的判断结果。后续接入时,我会继续从脚本中边界明确的判断任务开始,分别验证准确性、耗时和费用,再决定是否扩大使用范围。下面整理了相关能力、限制和接入要点,便于查阅。

SmartCodeTech的博客 346

国产算力·昇腾 910C 大模型推理优化(下):源码修改与算子优化,提速30%|得物技术

本文延续上篇,深入vllm-ascend源码优化:通过多流重叠实现MoE共享专家并行计算,消除冗余事件开销,并解除与FUSED_MC2的互斥限制,实现c=1下TPOT从8.2ms降至8.0ms;优化decode阶段host侧开销,引入状态跟踪跳过冗余拷贝;设计Block Table CPU快路径,规避小batch下NPU kernel启动延迟;针对GDN层融合L2Norm至recurrent kernel,减少算子调用与内存往返。综合优化后推理性能显著提升,形成可复用的昇腾910C大模型推理优化方法论。

SmartCodeTech的博客 248

国产算力·昇腾 910C 大模型推理优化(上):镜像更新与参数调优,提速 40%|得物技术

文中详细给出每一项优化的动机、实现(含具体源码改动路径与关键代码片段)、验证数据与踩坑记录(包括十余项实测无效或负向的尝试),希望为同样在国产算力上做推理优化的团队提供一份可直接复用的工程参考。

SmartCodeTech的博客 227

动态规则的 Agent 实践:用确定性工程驾驭 LLM 的资产智能验收

面对财务验收中规则多变、材料非结构化、核对复杂等痛点,传统规则引擎难以应对。系统采用“规则即配置”思路,由大语言模型(LLM)负责理解合同、扫描件等非结构化材料并执行语义比对,工程系统则保障流程编排与可追溯性。通过异步处理、幂等设计、三类流量隔离及双通道(文本/图像)处理,实现高效稳定运行。结合用户反馈构建自动标准答案,辅以试跑、回测与发布门禁机制,形成闭环质量体系。底层采用确定性工作流架构,确保行为可预期、可测试,真正实现灵活规则的快速迭代与安全上线。

SmartCodeTech的博客 345

发一张图,它居然“跃“出屏幕了?一文读懂得物 3D 空间图片技术实践

3D 空间图片功能的落地,涉及模型生成、内容分发、客户端渲染之间的一系列取舍。本文重点分享如何生产出高质量、小体积的模型,以及如何在手机上流畅运行。

SmartCodeTech的博客 555

别再只卷向量检索了,得物交易搜索如何用“生成式”实现召回范式跃迁?

你搜"af1",它得给你"空军一号"。这一年,得物交易搜索把召回从"做选择题"改成了"写答案"——不再从商品池里"找"最像的,而是让模型自己"生成"你真正想要的。从 LLM 语义索引到 HLLM、语义 ID,搜索是怎么从"检索"走向"生成"的?

SmartCodeTech的博客 594

指标平台:从语义底座到智能消费的实践路径|得物技术

这篇文章想做的,不是在本体化的宏大叙事上再叠加一层理论,而是把我们在真实落地中验证过的路径讲清楚:语义底座怎么从零建立起来、怎么保证质量不失控、怎么支撑 Text2SQL 和 AI Coding 两条消费主线,以及沿着这条路径往前走,下一步该往哪个方向发力。

SmartCodeTech的博客 317

企业级 MultiAgent 落地:Plan 模式与主子 Agent 协作|得物技术

基于 AgentScope Java 的企业级 MultiAgent 平台,为研发、数据分析和知识问答等场景提供统一的模型调用、工具接入、任务编排、流式输出与运行追踪能力。

SmartCodeTech的博客 302

得物小摊 AI Native 演进实录:用 Harness 构建可控 AI 交付

AI Coding 一个人用很顺手,进了团队就漏:指令没人审、经验难沉淀、过程看不见、链路不闭环。作者团队基于 Multica 做了 EP-Harness,把 Agent 当成员管,给它套一层可执行、可观察、可治理的 Harness,并让反馈闭环。成果:可追溯决策、多 Agent 协作,高频异常从每 4 小时 2400 多条降到个位数,对得物技术补上团队级 AI 协作关键一环。

SmartCodeTech的博客 543

企业级 MultiAgent 的记忆系统:短期上下文与四层记忆架构实现|得物技术

在 MultiAgent 平台中,Agent 的"记忆"能力是实现智能对话和个性化服务的核心资产。本文深入剖析 Agent 记忆系统的设计理念与实现细节,重点解析长期记忆架构的写入与加载流程,涵盖 LLM 智能判断、语义检索、Token 预算控制、冲突处理等关键技术,为开发者提供完整的技术实现参考。

SmartCodeTech的博客 502

EP-Harness:从个人 AI Coding 到团队级 Agent 工作流|得物技术

AI Coding 个人用得爽,一到团队就崩。EP-Harness 把 Agent 从聊天工具变成团队协作成员——可管理、可追溯、可闭环。落地后高频异常从 2400+/4h 收敛到个位数。

SmartCodeTech的博客 694

得物知识问答:复合检索 Agent 的系统设计实践

从"搜到什么用什么"到"搜→筛→挖→验"自主决策闭环——我们造了一个有判断力的 RAG Agent,不是套壳。

SmartCodeTech的博客 736

实战从零开始构建一个Coding Agent:Violin |得物技术

理解了 coding agent 的构建原理,也就掌握了理解其他 agent 的一把钥匙。笔者对每天都在使用的 agent 原理很感兴趣,于是决定自己写一个:violin。

SmartCodeTech的博客 927

AI Native 交易核心系统的研发范式|得物技术

如何改造旧研发流程适配 AI 编码?本文提出五道标准化关口治理思路,依托 Claude Code Spec-Driven 插件打通需求澄清、方案设计、TDD 落地、门禁管控与埋点监控,构建带人工确认门控的完整工作流,以五层自底向上架构实现 AI 编码规范化落地。

SmartCodeTech的博客 975

推荐系统体验的数字化突破:得物自动化评测平台的技术实践|AICon 文章整理

「得物推荐 AI Harness 工程化实践系列」的末篇内容,本系列共三篇连载。本篇(末篇)详解得物推荐评测平台的完整技术体系:从主观体验量化到大模型自动化评测流水线,涵盖多维度指标设计、人机协作提示词校验闭环、分布式任务调度与成本精控等核心工程实现,以及单周百万级审计需求下实现 91% 资源成本优化的工业级落地实战细节。

SmartCodeTech的博客 1495

RAG 核心概念与原理:Chunking、Embedding、相似度、HNSW 与多路召回|得物技术

决定 RAG 效果的关键不在大模型,而是文本切块、查询改写、多路召回与精排。合理切块存好知识库内容,向量匹配抓语义、BM25 匹配关键词互补。先优化用户提问,快速召回一批相关文档,再用精排模型精细筛选,整套检索流程配合到位,问答准确度才会明显提升。

SmartCodeTech的博客 1082

从“机械应答“到“服务伙伴“:得物高可控智能客服的 Agent 工程实践|AICon 演讲整理

本次分享围绕以下核心技术展开:客服 Agent 挑战与架构设计(Single-Agent→Multi-Agent→Harness);高可控性数据飞轮(PE 自动化 + DPO 训练);RL 策略训练和人工经验对齐;多轮半双工消息流控制。

SmartCodeTech的博客 755

得物推荐系统诊断 Agent:从 “调接口” 到 “会思考”|AICon 演讲整理

本文是得物技术专家在 AICon 上海演讲整理的技术实录。AICon上海2026_全球人工智能开发与应用大会暨大模型应用生态展_InfoQ技术大会「得物推荐 AI Harness 工程化实践系列」的中篇内容,本系列共三篇连载。本篇(中篇)进一步详解得物推荐复杂业务场景下,AI代码从生成、防护校验到安全上线的完整技术体系、自研AI Harness整体架构框架、全流程安全防护机制、混合智能体核心算法实现,以及工业级工程落地的实战细节。

SmartCodeTech的博客 1365

得物 OceanBase 落地实践

得物选型OceanBase多模数据库应对业务挑战,通过验证其高可用架构、存储压缩技术及混合负载处理能力。测试显示OceanBase在复杂查询场景性能较MySQL提升130-200倍,在高并发TP/AP混合场景表现优异,存储成本降低40%+。通过DBA内部报表业务试点验证其稳定性后,逐步推广至核心业务场景,优化数据库技术栈,实现性能与成本的双重收益。

SmartCodeTech的博客 1384

AI UITester:AI Native 的 UI 自动化测试新范式|得物技术

ai_uitester 代表了 AI Native 的 UI 自动化测试新范式:这不仅是工具的升级,而是测试范式的转变 ------ 从 "代码驱动" 转向 "视觉驱动",从 "人工调试" 转向 "AI 自愈",从 "三端分离" 转向 "统一抽象"。

SmartCodeTech的博客 780

从狂野代码到按目标生产:得物推荐 AI Harness 的工程化实践|AICon 演讲整理

本文是得物技术专家在 AICon 上海演讲整理的技术实录。「得物推荐 AI Harness 工程化实践系列」的开篇内容,本系列共三篇连载。将系统拆解得物推荐复杂业务场景下,AI 代码从生成、防护校验到安全上线的完整技术体系,逐一详解自研 AI Harness 整体架构框架、全流程安全防护机制、混合智能体核心算法实现,以及工业级工程落地的实战细节。本篇(上篇):将整体介绍团队自研的 AI Harness 体系,包括建设思路、全生命周期防护机制、混合智能体架构及落地效果。

SmartCodeTech的博客 1082

从表单到 Agent:得物社区活动搭建的 AI 实践之路

一场营销活动从策划到上线,运营要在三个系统间跳转 10 + 次、填写 40 + 个字段。我们用 AI 重新设计了这条链路 —— 从 “AI 帮你填表单” 到 “两阶段 Agent + 聚合工作台”。这篇文章记录的不是技术细节,而是这条路上的选择和反思。

SmartCodeTech的博客 745

从埋点需求到规则资产:Hermes Agent 重构得物数仓工作流

埋点和指标需求中,消耗数据承接方的不是生成答案,而是补齐证据链、对齐历史口径、识别下游影响,并在生产写入前留下可追溯的确认记录。本文数据承接方指承接业务需求的数据同学或业务合作伙伴;后文讨论内部研发、元数据、查询和门禁能力在流程中的角色。

SmartCodeTech的博客 657

让 Claude Code 拥有自我进化和记忆系统|得物技术

本文记录了为 Claude Code 构建的一套持久化记忆与自我学习系统的设计思路与实现细节。这套系统让 AI 助手能够跨越会话边界记住用户习惯,并在每次对话结束后自动提炼行为规律和系统信息,通过向量检索快速提取关键信息,下一次对话时主动应用,逐步进化为更懂你的编程伙伴。

SmartCodeTech的博客 994

用 LLM Agent 重构告警排查流程|得物技术

告警排查需频繁切换日志、APM、链路追踪等多个平台,耗时 10~30 分钟,且高度依赖个人经验。我们做了 Troubleshooter——用 LLM Agent 自动完成数据采集、根因分析和处置建议生成。上线后中位数排查耗时从 20 分钟降到 4.4 分钟,覆盖 11 个服务和 10+ 种告警类型。

SmartCodeTech的博客 1008

HorizonVault 技术深潜:如何在 HDD 上做出 100GB/s+ 级大吞吐分布式存储|得物技术

HorizonVault是一款面向Kafka远程存储的高吞吐分布式存储引擎,通过分布式并行写入和状态感知调度解决冷数据存储的三大核心问题:吞吐瓶颈、性能抖动和恢复能力。系统采用分层架构,Meta负责全局资源调度,Broker处理请求路由,Store实现本地磁盘管理,形成完整的写入治理链路。通过将HDD磁盘提升为一等资源,实现顺序追加写入、多盘并行和慢盘隔离,在保证高吞吐的同时控制延迟。存储结构采用DiskStore组织磁盘资源,LogSegment顺序写入数据,IndexSegment定位读取,Change

SmartCodeTech的博客 892

Claude Code Harness 工程:数仓侧落地方案|得物技术

Harness 工程通过职责分层实现研发流水线可靠性提升。Claude 负责需求理解与代码生成等语义层工作;hooks 负责规范检查等确定性执行;Subagents 隔离血缘查询、自测等高 token 操作;Memory 承载跨会话状态持久化。四层协同使数仓 AI 开发从"对话式辅助"转变为"规则驱动的自动化流程"。

SmartCodeTech的博客 1103

BP Claw 破解 AI 编码输入难题 ——FlinkSpec 需求智能化实践|得物技术

本文为 FlinkSpec 系列之开篇,亦是这场工程化变革的序章。BP Claw 所立之处,不过链路之源。FlinkSpec 所图,乃以 AI 之力,将实时数仓从需求落地至验收上线的全程工序,熔铸为一套精密自洽、生生不息的智能工程体系。宏图未竟,后续系列将逐章揭幕,敬请期待!

SmartCodeTech的博客 1039
上一篇: 【得物技术】会议室巡检系统(哮天犬)部署分享
下一篇: 【得物技术】推荐系统是如何做排序的
得物技术
得物技术 得物技术官方账号 得物技术官方账号
博客等级 码龄6年 2492粉丝 408原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值