Tritonserver 在得物的最佳实践

一、Tritonserver 介绍

Tritonserver是Nvidia推出的基于GPU和CPU的在线推理服务解决方案,因其具有高性能的并发处理和支持几乎所有主流机器学习框架模型的特点,是目前云端的GPU服务高效部署的主流方案。

Tritonserver的部署是以模型仓库(Model Repository)的形式体现的,即需要模型文件和配置文件,且按一定的格式放置如下,根目录下每个模型有各自的文件夹。

./
└── my_model_repo
    ├── 1
    │   └── model.plan
    └── config.pbtxt

Tritonserver 有auto-generate-config功能,关于模型的输入(inputs)、输出(outputs)和最大batch(max_batch_size)等可以根据对模型的分析自动生成,对onnx, tensorrt, tf saved model等带模型结构的模型极为方便,最简便的config.pbtxt可以只定义模型的name和backend,例如针对上述模型:

# config.pbtxt
name: "my_model_repo"
backend: "tensorrt"

二、部署Features

Ensemble Pipeline

Pipeline 模式是实际生产中机器学习模型应用常见的场景,比如一个含有带Python代码前处理和后处理的模型,或者含有前后处理的多个模型串联成一个生产处理流程;比如下图左边的OCR流程,若单独部署了文字检测和文字识别模型,图像经过检测模型返回boxes块后,再经过cropping后,接着请求识别模型,最后返回识别的文字,这样在客户端和服务端之间需要交互多次;而像右图,将中间的cropping处理过程也视作一个model形式,部署在服务测,则单次请求中,服务端完成Text Detection -> Image Cropping -> Text Recognition处理后返回,减少了交互次数,极大降低了耗时。

image.png
【出处:https://github.com/triton-inference-server/tutorials/blob/main/Conceptual_Guide/Part_5-Model_Ensembles/README.md】

Ensemble Pipeline 需要额外定义一个Model Repository, 里边的版本文件夹为空,config.pbtxt中定义数据流的处理流程,指明服务端接收到数据后在各个模型之间处理的逻辑顺序,格式如下:

ensemble_model/
├── 1
└── config.pbtxt

以上图的OCR Pipeline 为例,除了本身的两个模型:text_detection和text_recognition, 我们额外定义三个Model Repository:detection_preprocessing, detection_postprocessing, recognition_postprocessing, 分别表示检测模型的前处理,检测模型的后处理和识别模型的后处理, 按实际处理中的逻辑顺序将上述的所有模型串联如下:

image.png

上图模型及各自输入输出之间的逻辑关系写到ensemble_model的配置文件里边如下。文件的信息由两部分组成,第一部分定义整个Pipeline的基础信息,第二部分中的step定义了推理时上图的逻辑关系。

name: "ensemble_model"
platform: "ensemble"
max_batch_size: 256
input [
  {
    name: "input_image"
    data_type: TYPE_UINT8
    dims: [ -1 ]
  }
]
output [
  {
    name: "recognized_text"
    data_type: TYPE_STRING
    dims: [ -1 ]
  }
]

ensemble_scheduling {
  step [
    {
      model_name: "detection_preprocessing"
      model_version: -1
      input_map {
        key: "detection_preprocessing_input"
        value: "input_image"
      }
      output_map {
        key: "detection_preprocessing_output"
        value: "preprocessed_image"
      }
    },
    {
      model_name: "text_detection"
      model_version: -1
      input_map {
        key: "input_images:0"
        value: "preprocessed_image"
      }
      output_map {
        key: "feature_fusion/Conv_7/Sigmoid:0"
        value: "Sigmoid:0"
      },
      output_map {
        key: "feature_fusion/concat_3:0"
        value: "concat_3:0"
      }
    },
    {
      model_name: "detection_postprocessing"
      model_version: -1
      input_map {
        key: "detection_postprocessing_input_1"
        value: "Sigmoid:0"
      }
      input_map {
        key: "detection_postprocessing_input_2"
        value: "concat_3:0"
      }
      input_map {
        key: "detection_postprocessing_input_3"
        value: "preprocessed_image"
      }
      output_map {
        key: "detection_postprocessing_output"
        value: "cropped_images"
      }
    },
    {
      model_name: "text_recognition"
      model_version: -1
      input_map {
        key: "input.1"
        value: "cropped_images"
      }
      output_map {
        key: "308"
        value: "recognition_output"
      }
    },
    {
      model_name: "recognition_postprocessing"
      model_version: -1
      input_map {
        key: "recognition_postprocessing_input"
        value: "recognition_output"
      }
      output_map {
        key: "recognition_postprocessing_output"
        value: "recognized_text"
      }
    }
  ]
}

Business Logic Scripting(BLS)

虽然ensemble特征已能支持大多数的推理Pipeline, 但是诸如循环(loop)、条件(if…else…)或一些依赖数据的控制流逻辑还是无法实现。BLS 的本质是允许用户在定义的python-backend的模型的执行函数里请求其他的模型,而这样的请求可以完美实现这些自定义的逻辑。

以上述的OCR推理流程为例,如果OCR检测模型输出N个含文字的bounding boxes的patches, 经过一定的后处理,来到后边的OCR Recoginition模型进行识别;而识别模型的输入有一定的batch 限制,假设为b,那这些patches则需要经过
在这里插入图片描述
次的推理才能完成处理,这里形成了一个loop。

以下是具体的逻辑:

  • pb_utils.InferenceRequest 创建了一个对模型的请求

  • 构建一个 for-loop,完成对模型的多次请求

  • 收集多次请求的返回,并做一定的处理,作为当前TritonPythonModel的返回

class TritonPythonModel:
  ...
    def execute(self, requests):
      ...
     
      # cropped_images: 例子中需要处理的图片patches 
      # b: 模型支持的最大batches 
      outputs = []
      for i in range(0, len(cropped_images), b)
          # 创建请求:需要目标模型名称,输出名称,以及输入的变量
          inference_request = pb_utils.InferenceRequest(
              model_name='text_recognition',
              requested_output_names=['recognition_output'],
              inputs=[<pb_utils.Tensor object>])
          # 执行请求
          inference_responses = inference_request.exec(decoupled=True)
          
          # 处理 response 
          for inference_response in inference_responses:
              # Check if the inference response has an error
              if inference_response.has_error():
                  raise pb_utils.TritonModelException(inference_response.error().message())
              if len(infer_response.output_tensors()) > 0:
                  output1 = pb_utils.get_output_tensor_by_name(inference_response, 'recognition_output')
              outputs.append(output1)

Dynamic Batching

动态批次 指的是在服务处理请求时,相比于对接收的请求依次推理,允许将单个或多个请求自动组合成一个batch再做推理,以达到提升吞吐的目的。

以下示例对动态批次对服务提高处理请求能力,提升吞吐做了解释:

  • 图左,按时间轴到达了A, B, C, D, E等不同batch_size的请求。

  • 图右的第一行,无动态批次(No Dynamic Batching)设置的条件下,模型依次推理这些请求,需要5X的时间。

  • 图右的第二行,设置了动态批次,但未设置等待时间(Without Delay),模型将一定时间内的批次合并,如将同时接收到的请求A, C合并成一个batch_size=6的服务做一次推理;随后将B, D 合并成一个batch_size=8的服务再做一次推理(因为图中规定了模型的最大处理批次=8,所以虽然E和D是同时到达,但不能将B, D, E都合并处理);最后处理E, 一共花费了3X的时间。

  • 图右的第三行,为动态批次设置了等待时间,Delay=X/2,则在X/2的时间内,将接收到的A, B, C 请求合成一个batch_size=8的请求处理;再将D, E合成处理,共花费了2.5X的时间。

image.png

【出处:https://github.com/triton-inference-server/tutorials/tree/main/Conceptual_Guide/Part_2-improving_resource_utilization#what-is-dynamic-batching】

关于延时的设置,可以在config.pbtxt里定义如下:

dynamic_batching {
    max_queue_delay_microseconds: 100
}

而时间的值的大小设置,可以根据实际业务的吞吐量,一种方法是测试不同的取值,从而选取效果最佳的值;另一种方法是使用Triton-client的自带工具model-analyzer,自动分析和检索模型配置的最佳参数。

其他详细的配置参数可以参考这里。

C/GPU分离

在实际部署中,对服务做并发改造是提升服务吞吐的基本操作。而在GPU服务中,当模型训练者直接将Pytorch或tensorflow的模型直接写到服务的请求体后,随后采用gunicorn 或kserve 设置多个workers 作并发时,则服务中的模型使用的显存也会成多倍的复制,造成GPU显存的OOM;所以当我们做并发改造时,需要先将服务中的GPU推理部分与其他CPU处理分离,而Tritonserver是一个很好的选择。

首先将模型都改写成Tritonserver支持的部署格式(第一部分介绍的模型仓库格式),常用的手段有:

  • 将Pytorch模型 export 并保存为onnx格式,或提取为torchscript格式

  • 将onnx、tensorflow模型等用tensorRT编译加速,精度允许时可以编译成fp16或精度更低的格式。

  • 当上述模型的提取较为复杂时,例如使用了mmcv, mmdet 等复杂工具构建的Pytorch模型,可以直接将基于Python代码的模型改写成一个TritonPythonModel类, 写成 python-backend的模型。

随后将模型用 Tritonserver 命令拉起服务,此处也可以用守护进程工具,例如supervisord,启动Tritonserver命令,以保护Tritonserver进程因意外退出而中断服务。

接着,用高并发的服务工具,例如gunicorn, kserve 改写代理服务,设置多个CPU的workers, 这样整个服务的GPU利用率上限能大大提升,从而提升服务的吞吐上限。

三、模型的性能测试

参数优化

Model-analyzer 是一个针对模型配置的参数优化工具,其主要功能是对用户期望优化的参数通过搜索的方式得到在吞吐或延时上最优的方案。

参数搜索根据搜索的方式有以下三种:

  • Brute force Search: 暴力检索指定的参数及其取值范围,适用于单个模型或顺序型的Pipeline模型,指定命令参数 --run-config-search-mode brute

  • Quick Search:基于爬坡算法(hill-climbing)找到参数最优解,适用于所有简单或复杂的模型,指定命令参数 --run-config-search-mode quick

  • Optuna search: 使用带超参的优化算法找到最优解,适用于所有简单或复杂的模型,指定命令参数 --run-config-search-mode optuna

实际部署中的多数业务,brute 和quick两种方法基本能够快速解决参数配置。

使用model-analyzer的profile命令和相应的参数配置拉起参数搜索程序:

model-analyzer profile \
    --model-repository <path-to-examples-quick-start> \
    --profile-models add_sub --triton-launch-mode=docker \
    --output-model-repository-path <path-to-output-model-repo>/<output_dir> \
    --export-path profile_results

也可以将这些参数都配在一个yaml文件里,直接指定配置文件拉起更方便:

model-analyzer -f /path/to/config.yaml

可以简单地配置一些基本的参数:

# config.yaml
model_repository: ./model_repo    # 模型所在的地址
concurrency: [2, 4, 8, 16]     # 定义测试环境的并发量
batch_sizes: [8, 16, 32]       # 定义测试环境请求的batch size

# 针对不同的模型的细节定义 
profile_models:
  rel_cross_bert_l20_trt:
    model_config_parameters:
      instance_group:
        - kind: KIND_GPU
          count: [1, 2, 3, 4, 5]  # 模型的副本数 
      dynamic_batching:
        max_queue_delay_microseconds: [100, 500, 1000, 2000]  # 若设置动态批,可搜索合适的delay 值
... ...

程序运行完成后会给出一个关于最优配置的报告,以及所有已尝试的配置的配置文件,用户可以直接使用给出的最优配置文件拉起模型的服务。

以bert模型为例,检索合适的instances, delay 等参数,最后的报告中列出了几个较优解,再从其中选择,比如,最终根据GPU资源的用量和p99 latency选择了 “rel_cross_bert_l20_trt_config_11” 这个模型配置。
image.png

更详细的配置说明可以参考这两个官方文档:

  1. https://github.com/triton-inference-server/model_analyzer/blob/main/docs/config.md

  2. https://github.com/triton-inference-server/model_analyzer/blob/main/docs/config_search.md

性能压测

perf-analyzer是Tritonclient 携带的一个模型性能压测工具,可以按提供的输入数据格式压测模型的性能,既可以观察模型在不同的并发量的压测下的吞吐和延时的性能,也可以模拟在特定的吞吐下模型的延时性能。

以一个bert模型为例,其输入input_id为[1, 128]的int64类,则可以先编写一个用以提供输入示例的json文件。

# real_data.json
{
    "data" :
    [
        {
          "input_ids": 
            { 
            "content":[101, 1957, 6163, ..., 0, 0],
            "shape": [128]
            }
         
        },
        {
            "input_ids":
            {
                "content":[101, 1741, 2353, ..., 0, 0],
                "shape":[128]
            }
        } ,
        {
            "input_ids": 
            {
                "content":[101, 2015, 2015,..., 0, 0],
                "shape":[128]
            }
        }
    ]
}

随后输入一下命令进行压测:

perf_analyzer -m bert_ensemble -b 16 --input-data real_data.json --measurement-interval 10000 --concurrency-range 1:10 --percentile=90 -i grpc
  • bert_ensemble是我们想压测的模型的名称

  • -b指定以多大的batch 作为输入

  • –input-data指定了写有输入示例的json格式的文件

  • –measurement-interval压测的时间间隔,单位为ms

  • –concurrency-range指定压测的并发数,可以是一个范围,如1:10 表示压测并发分别为1, 2, …, 10时的情况。

  • –percentile=90返回p90的延时信息。

压测完毕, 除了会返回相应的并发量下模型的QPS,平均RT这些基础信息,还会返回各类P50, P90, P99等延时,Pipeline中每个子模块的延时,每个子模块的延时中的排队延时、推理延时、输入处理延时、输出处理延时等这些极为详细的信息。

Request concurrency: 1
  Client:
    Request count: 1012
    Throughput: 1619.2 infer/sec
    p50 latency: 9821 usec
    p90 latency: 10009 usec
    p95 latency: 10056 usec
    p99 latency: 10184 usec
    Avg gRPC time: 9874 usec ((un)marshal request/response 1 usec + response wait 9873 usec)
  Server:
    Inference count: 19424
    Execution count: 1214
    Successful request count: 1214
    Avg request latency: 9813 usec (overhead 17 usec + queue 2085 usec + compute 7711 usec)

  Composing models:
  rel_cross_bert_post, version:
      Inference count: 19424
      Execution count: 1214
      Successful request count: 1214
      Avg request latency: 131 usec (overhead 5 usec + queue 8 usec + compute input 18 usec + compute infer 60 usec + compute output 40 usec)
... 
... 
Concurrency: 1, throughput: 283 infer/sec, latency 3586 usec
Concurrency: 2, throughput: 528.6 infer/sec, latency 3839 usec
Concurrency: 3, throughput: 684 infer/sec, latency 4436 usec
Concurrency: 4, throughput: 910.4 infer/sec, latency 4451 usec
Concurrency: 5, throughput: 848 infer/sec, latency 5974 usec
Concurrency: 6, throughput: 1020.6 infer/sec, latency 5945 usec
... 

也可以指定模型的在特定的QPS下压测,如:

perf_analyzer -m bert_ensemble -b 16 --input-data real_data.json --measurement-interval 10000 --request-rate-range=20 --percentile=90 -i grpc
  • –request-rate-range 指定了模型在吞吐为20情况下压测

四、Tritonserver 在得物的最佳实践

模型管理

用户可以在KubeAI 平台先上传模型,“模型列表” ->“新增模型”,填写相关信息以及oss地址。

image.png

一键部署

对于简单的single model 或已有Triton配置文件的模型仓库,可以直接在KubeAI的“Triton服务”创建服务,简单选择环境、模型、模型版本和GPU配置等资源即可拉起。

image.png

Pytorch 和 Tensorflow

许多python-backend的模型,直接使用Pytorch或TensorFlow的Python接口加载模型或处理数据,我们也提供了自带安装Pytorch 2.0 和 TensorFlow 2.9 的Python包的镜像,可以在部署服务时替换

  • repoin.shizhuang-inc.net/app-runtime/kubeai/triton-22.12-py3-deploy:v1.31-torch

  • repoin.shizhuang-inc.net/app-runtime/kubeai/triton-22.12-py3-deploy:v1.32-tf2

基于代码的普通服务部署

如果用户需要安装额外的Python库,也可以直接使用上述基于Triton的镜像在KubeAI的“普通推理服务”基于GitLab代码部署对应的Tritonserver服务。

image.png

五、总结

总的来说,Tritonserver是目前非常成熟的在线推理框架:

  • 不管是利用Tritonserver直接提供推理服务,还是用代理服务+C/GPU分离,或是结合rayserve等可自动弹性伸缩的框架,都能充分利用GPU的算力,体现在线服务的高效并发性。

  • Tritonserver提供的Pipeline模式加上BLS、以及对python-backend的支持,基本上能满足算法开发者所有的逻辑功能的设计,支持绝大多数离线开发的模型服务移植到线上。

  • Tritonserver支持目前绝大多数的模型类型作为backend;甚至是目前深度学习最火热的大模型所支持的主流推理框架,Tritonserver也能结合vLLM、或者其原生的Tensor-LLM-backend提供优秀的并发服务。

*文/xujiong

本文属得物技术原创,更多精彩文章请看:得物技术

未经得物技术许可严禁转载,否则依法追究法律责任!

相关推荐

压测AI Agent 治理与评测调优实践|得物技术

本文介绍智能分析Agent在压测调试中上线后的治理闭环建设:通过Langfuse记录完整执行链路,结合用户反馈与Trace还原问题根因;利用CLI Mock固化证据数据集,实现相同场景下的回测验证。基于固定案例与五档评分机制,持续评估方案质量、延迟与成本,确保修复有效且无新问题引入,推动Agent能力迭代优化。

SmartCodeTech的博客 316

从中心调度到自驱协作多 Agent 架构的三次反转|得物技术

本文探讨多Agent系统中的控制权分配问题,提出三大协作架构:Master Agent(中心调度)、任务看板(共享状态)与Advisor(轻量咨询)。通过划清上下文边界与模型边界,强调应以信息相关性而非职业标签划分Agent。三种模式分别将决策权集中于中心、下放至共享状态、再下沉至执行者,形成控制权逐步下沉的演进路径。案例显示,合理设计可提升复杂任务的并行性、弹性与可维护性。

SmartCodeTech的博客 420

Jev 实战:为AI工作流引入轻量决策层 x10倍提速|得物技术

完成这三个场景后,我对适用边界有了更明确的认识:它们都可以先定义答案范围,再根据判断结果驱动下一步操作。接入时,我会优先明确输入、选项、采纳条件和兜底路径,再评估Jev是否适合承担这一环节。结合这些实践,我更容易理解Jev(TypeSafe System One)作为专用结构化决策模型不生成自然语言,而是返回带概率的判断结果。后续接入时,我会继续从脚本中边界明确的判断任务开始,分别验证准确性、耗时和费用,再决定是否扩大使用范围。下面整理了相关能力、限制和接入要点,便于查阅。

SmartCodeTech的博客 346

国产算力·昇腾 910C 大模型推理优化(下):源码修改与算子优化,提速30%|得物技术

本文延续上篇,深入vllm-ascend源码优化:通过多流重叠实现MoE共享专家并行计算,消除冗余事件开销,并解除与FUSED_MC2的互斥限制,实现c=1下TPOT从8.2ms降至8.0ms;优化decode阶段host侧开销,引入状态跟踪跳过冗余拷贝;设计Block Table CPU快路径,规避小batch下NPU kernel启动延迟;针对GDN层融合L2Norm至recurrent kernel,减少算子调用与内存往返。综合优化后推理性能显著提升,形成可复用的昇腾910C大模型推理优化方法论。

SmartCodeTech的博客 248

国产算力·昇腾 910C 大模型推理优化(上):镜像更新与参数调优,提速 40%|得物技术

文中详细给出每一项优化的动机、实现(含具体源码改动路径与关键代码片段)、验证数据与踩坑记录(包括十余项实测无效或负向的尝试),希望为同样在国产算力上做推理优化的团队提供一份可直接复用的工程参考。

SmartCodeTech的博客 227

动态规则的 Agent 实践:用确定性工程驾驭 LLM 的资产智能验收

面对财务验收中规则多变、材料非结构化、核对复杂等痛点,传统规则引擎难以应对。系统采用“规则即配置”思路,由大语言模型(LLM)负责理解合同、扫描件等非结构化材料并执行语义比对,工程系统则保障流程编排与可追溯性。通过异步处理、幂等设计、三类流量隔离及双通道(文本/图像)处理,实现高效稳定运行。结合用户反馈构建自动标准答案,辅以试跑、回测与发布门禁机制,形成闭环质量体系。底层采用确定性工作流架构,确保行为可预期、可测试,真正实现灵活规则的快速迭代与安全上线。

SmartCodeTech的博客 345

发一张图,它居然“跃“出屏幕了?一文读懂得物 3D 空间图片技术实践

3D 空间图片功能的落地,涉及模型生成、内容分发、客户端渲染之间的一系列取舍。本文重点分享如何生产出高质量、小体积的模型,以及如何在手机上流畅运行。

SmartCodeTech的博客 555

别再只卷向量检索了,得物交易搜索如何用“生成式”实现召回范式跃迁?

你搜"af1",它得给你"空军一号"。这一年,得物交易搜索把召回从"做选择题"改成了"写答案"——不再从商品池里"找"最像的,而是让模型自己"生成"你真正想要的。从 LLM 语义索引到 HLLM、语义 ID,搜索是怎么从"检索"走向"生成"的?

SmartCodeTech的博客 594

指标平台:从语义底座到智能消费的实践路径|得物技术

这篇文章想做的,不是在本体化的宏大叙事上再叠加一层理论,而是把我们在真实落地中验证过的路径讲清楚:语义底座怎么从零建立起来、怎么保证质量不失控、怎么支撑 Text2SQL 和 AI Coding 两条消费主线,以及沿着这条路径往前走,下一步该往哪个方向发力。

SmartCodeTech的博客 317

企业级 MultiAgent 落地:Plan 模式与主子 Agent 协作|得物技术

基于 AgentScope Java 的企业级 MultiAgent 平台,为研发、数据分析和知识问答等场景提供统一的模型调用、工具接入、任务编排、流式输出与运行追踪能力。

SmartCodeTech的博客 302

得物小摊 AI Native 演进实录:用 Harness 构建可控 AI 交付

AI Coding 一个人用很顺手,进了团队就漏:指令没人审、经验难沉淀、过程看不见、链路不闭环。作者团队基于 Multica 做了 EP-Harness,把 Agent 当成员管,给它套一层可执行、可观察、可治理的 Harness,并让反馈闭环。成果:可追溯决策、多 Agent 协作,高频异常从每 4 小时 2400 多条降到个位数,对得物技术补上团队级 AI 协作关键一环。

SmartCodeTech的博客 543

企业级 MultiAgent 的记忆系统:短期上下文与四层记忆架构实现|得物技术

在 MultiAgent 平台中,Agent 的"记忆"能力是实现智能对话和个性化服务的核心资产。本文深入剖析 Agent 记忆系统的设计理念与实现细节,重点解析长期记忆架构的写入与加载流程,涵盖 LLM 智能判断、语义检索、Token 预算控制、冲突处理等关键技术,为开发者提供完整的技术实现参考。

SmartCodeTech的博客 502

EP-Harness:从个人 AI Coding 到团队级 Agent 工作流|得物技术

AI Coding 个人用得爽,一到团队就崩。EP-Harness 把 Agent 从聊天工具变成团队协作成员——可管理、可追溯、可闭环。落地后高频异常从 2400+/4h 收敛到个位数。

SmartCodeTech的博客 694

得物知识问答:复合检索 Agent 的系统设计实践

从"搜到什么用什么"到"搜→筛→挖→验"自主决策闭环——我们造了一个有判断力的 RAG Agent,不是套壳。

SmartCodeTech的博客 736

实战从零开始构建一个Coding Agent:Violin |得物技术

理解了 coding agent 的构建原理,也就掌握了理解其他 agent 的一把钥匙。笔者对每天都在使用的 agent 原理很感兴趣,于是决定自己写一个:violin。

SmartCodeTech的博客 927

AI Native 交易核心系统的研发范式|得物技术

如何改造旧研发流程适配 AI 编码?本文提出五道标准化关口治理思路,依托 Claude Code Spec-Driven 插件打通需求澄清、方案设计、TDD 落地、门禁管控与埋点监控,构建带人工确认门控的完整工作流,以五层自底向上架构实现 AI 编码规范化落地。

SmartCodeTech的博客 975

推荐系统体验的数字化突破:得物自动化评测平台的技术实践|AICon 文章整理

「得物推荐 AI Harness 工程化实践系列」的末篇内容,本系列共三篇连载。本篇(末篇)详解得物推荐评测平台的完整技术体系:从主观体验量化到大模型自动化评测流水线,涵盖多维度指标设计、人机协作提示词校验闭环、分布式任务调度与成本精控等核心工程实现,以及单周百万级审计需求下实现 91% 资源成本优化的工业级落地实战细节。

SmartCodeTech的博客 1495

RAG 核心概念与原理:Chunking、Embedding、相似度、HNSW 与多路召回|得物技术

决定 RAG 效果的关键不在大模型,而是文本切块、查询改写、多路召回与精排。合理切块存好知识库内容,向量匹配抓语义、BM25 匹配关键词互补。先优化用户提问,快速召回一批相关文档,再用精排模型精细筛选,整套检索流程配合到位,问答准确度才会明显提升。

SmartCodeTech的博客 1082

从“机械应答“到“服务伙伴“:得物高可控智能客服的 Agent 工程实践|AICon 演讲整理

本次分享围绕以下核心技术展开:客服 Agent 挑战与架构设计(Single-Agent→Multi-Agent→Harness);高可控性数据飞轮(PE 自动化 + DPO 训练);RL 策略训练和人工经验对齐;多轮半双工消息流控制。

SmartCodeTech的博客 755

得物推荐系统诊断 Agent:从 “调接口” 到 “会思考”|AICon 演讲整理

本文是得物技术专家在 AICon 上海演讲整理的技术实录。AICon上海2026_全球人工智能开发与应用大会暨大模型应用生态展_InfoQ技术大会「得物推荐 AI Harness 工程化实践系列」的中篇内容,本系列共三篇连载。本篇(中篇)进一步详解得物推荐复杂业务场景下,AI代码从生成、防护校验到安全上线的完整技术体系、自研AI Harness整体架构框架、全流程安全防护机制、混合智能体核心算法实现,以及工业级工程落地的实战细节。

SmartCodeTech的博客 1365

得物 OceanBase 落地实践

得物选型OceanBase多模数据库应对业务挑战,通过验证其高可用架构、存储压缩技术及混合负载处理能力。测试显示OceanBase在复杂查询场景性能较MySQL提升130-200倍,在高并发TP/AP混合场景表现优异,存储成本降低40%+。通过DBA内部报表业务试点验证其稳定性后,逐步推广至核心业务场景,优化数据库技术栈,实现性能与成本的双重收益。

SmartCodeTech的博客 1384

AI UITester:AI Native 的 UI 自动化测试新范式|得物技术

ai_uitester 代表了 AI Native 的 UI 自动化测试新范式:这不仅是工具的升级,而是测试范式的转变 ------ 从 "代码驱动" 转向 "视觉驱动",从 "人工调试" 转向 "AI 自愈",从 "三端分离" 转向 "统一抽象"。

SmartCodeTech的博客 780

从狂野代码到按目标生产:得物推荐 AI Harness 的工程化实践|AICon 演讲整理

本文是得物技术专家在 AICon 上海演讲整理的技术实录。「得物推荐 AI Harness 工程化实践系列」的开篇内容,本系列共三篇连载。将系统拆解得物推荐复杂业务场景下,AI 代码从生成、防护校验到安全上线的完整技术体系,逐一详解自研 AI Harness 整体架构框架、全流程安全防护机制、混合智能体核心算法实现,以及工业级工程落地的实战细节。本篇(上篇):将整体介绍团队自研的 AI Harness 体系,包括建设思路、全生命周期防护机制、混合智能体架构及落地效果。

SmartCodeTech的博客 1082

从表单到 Agent:得物社区活动搭建的 AI 实践之路

一场营销活动从策划到上线,运营要在三个系统间跳转 10 + 次、填写 40 + 个字段。我们用 AI 重新设计了这条链路 —— 从 “AI 帮你填表单” 到 “两阶段 Agent + 聚合工作台”。这篇文章记录的不是技术细节,而是这条路上的选择和反思。

SmartCodeTech的博客 745

从埋点需求到规则资产:Hermes Agent 重构得物数仓工作流

埋点和指标需求中,消耗数据承接方的不是生成答案,而是补齐证据链、对齐历史口径、识别下游影响,并在生产写入前留下可追溯的确认记录。本文数据承接方指承接业务需求的数据同学或业务合作伙伴;后文讨论内部研发、元数据、查询和门禁能力在流程中的角色。

SmartCodeTech的博客 657

让 Claude Code 拥有自我进化和记忆系统|得物技术

本文记录了为 Claude Code 构建的一套持久化记忆与自我学习系统的设计思路与实现细节。这套系统让 AI 助手能够跨越会话边界记住用户习惯,并在每次对话结束后自动提炼行为规律和系统信息,通过向量检索快速提取关键信息,下一次对话时主动应用,逐步进化为更懂你的编程伙伴。

SmartCodeTech的博客 994

用 LLM Agent 重构告警排查流程|得物技术

告警排查需频繁切换日志、APM、链路追踪等多个平台,耗时 10~30 分钟,且高度依赖个人经验。我们做了 Troubleshooter——用 LLM Agent 自动完成数据采集、根因分析和处置建议生成。上线后中位数排查耗时从 20 分钟降到 4.4 分钟,覆盖 11 个服务和 10+ 种告警类型。

SmartCodeTech的博客 1008

HorizonVault 技术深潜:如何在 HDD 上做出 100GB/s+ 级大吞吐分布式存储|得物技术

HorizonVault是一款面向Kafka远程存储的高吞吐分布式存储引擎,通过分布式并行写入和状态感知调度解决冷数据存储的三大核心问题:吞吐瓶颈、性能抖动和恢复能力。系统采用分层架构,Meta负责全局资源调度,Broker处理请求路由,Store实现本地磁盘管理,形成完整的写入治理链路。通过将HDD磁盘提升为一等资源,实现顺序追加写入、多盘并行和慢盘隔离,在保证高吞吐的同时控制延迟。存储结构采用DiskStore组织磁盘资源,LogSegment顺序写入数据,IndexSegment定位读取,Change

SmartCodeTech的博客 892

Claude Code Harness 工程:数仓侧落地方案|得物技术

Harness 工程通过职责分层实现研发流水线可靠性提升。Claude 负责需求理解与代码生成等语义层工作;hooks 负责规范检查等确定性执行;Subagents 隔离血缘查询、自测等高 token 操作;Memory 承载跨会话状态持久化。四层协同使数仓 AI 开发从"对话式辅助"转变为"规则驱动的自动化流程"。

SmartCodeTech的博客 1103

BP Claw 破解 AI 编码输入难题 ——FlinkSpec 需求智能化实践|得物技术

本文为 FlinkSpec 系列之开篇,亦是这场工程化变革的序章。BP Claw 所立之处,不过链路之源。FlinkSpec 所图,乃以 AI 之力,将实时数仓从需求落地至验收上线的全程工序,熔铸为一套精密自洽、生生不息的智能工程体系。宏图未竟,后续系列将逐章揭幕,敬请期待!

SmartCodeTech的博客 1039
上一篇: 得物iOS函数调用栈及符号化调优实践|得物技术
下一篇: 增长在流量规则巡检的探索实践|得物技术
得物技术
得物技术 得物技术官方账号 得物技术官方账号
博客等级 码龄6年 2492粉丝 408原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值