【得物技术】得物分布式UI自动化实践

前言

提起 UI 自动化测试,总是会有人抛出很多疑问:

  1. UI 自动化能带来什么价值吗?还是在浪费时间?

  2. UI 自动化测试在整个测试流程中扮演什么样的角色?

  3. 有编写 UI 自动化测试的时间,我早就完成业务测试了,我为什么还要编写自动化测试的 case 呢?

  4. 针对于 UI 界面经常变动的业务场景,编写和维护自动化 Case 简直太难了,怎么样才能解决这些问题呢?

…
在这里插入图片描述

今天小编就在这里跟大家分享下,自己对 UI 自动化测试的理解以及我司质量平台正在搭建的分布式平台 DuLab 是怎样实现批量运行 UI 自动化测试 Case 的。

为什么要做 UI 自动化?

随着不停的版本迭代,软件新增功能变的越来越多,对测试资源的需求也变得越来越大,执行人工测试的时间越来越长。对于人工测试的依赖开始变得棘手,因此大家开始寻找解决方案,UI 自动化也应运而生。

人工测试的弊端

  • 人工回归测试需要花费很长时间才能完成,很小的延迟就会让发布面临风险。
  • 发布节奏受到人工回归测试的限制。两天以上的人工回归测试意味着最好的情况下能够一个月发布两次。而且,开发者需要一次性发布所有东西。要么全部发布,要么什么都发布不了,因为需要将所有东西一起测试。

UI 自动化测试的优点

  • 解放了测试团队针对临时的和探索性案例的测试时间;
  • 可以一边开发一边进行回归测试,减少等待时间;
  • 可重复性使用,快速进行回归测试;
  • 更好的利用资源(周未/晚上的资源空闲时段)。

UI 自动化的特点

UI 即 User Interface(用户界面)的简称,UI 自动化做的事情就是模拟用户行为进行操作,完成对用户界面的测试。这也就从本质上限制了它的使用场景:

  • 软件需求变动不频繁
  • 产品更新维护周期长
  • 比较频繁的回归测试
  • 自动化测试脚本可重复使用

所以在你开始之前,最好认识清楚哪些业务场景是可以自动化的~

预期效果

针对我司的业务现状,确定好预期效果。

  • 兼容性测试:针对市场上常用机型与系统版本,进行下载安装使用,以发现兼容性故障,进而修复。
  • 埋点测试:校验埋点数据是否正常上报,有无漏报,错报,多报。
  • 回归测试:版本迭代中,进行回归测试保障代码改动不会导致其他场景产生故障。
  • 测试阶段性能收集:在测试阶段为自动化 case 指定优先级,按照优先级运行自动化 case,提供更多的性能数据。

思路

与接口自动化测试思路相同,我们在进行 UI 自动化测试时,每个 Case 都是一个单独的 TestCase,我们将所有需要执行的 case 放在同一个 TestSuit 中,批量执行并生成聚合报告。

难点

  • 不同于接口自动化,单个客户端设备某个时刻仅支持运行一个自动化 Case;
  • 受制于电脑性能,无法在单一电脑设备上同时控制数十台移动设备;
  • 随着版本迭代,部分 Case 仅适用于某些 APP 版本,需限制版本范围;
  • 无法省略前置步骤,比方说想要对某个页面进行 UI 自动化,无法直接进入该页面,要从启动 APP 开始,选择前置路径才能进入指定页面;
  • 相同场景下数据可能会发生变化,使得校验规则无法统一;
  • 不同账号下,数据不同,可能会导致很多场景无法测试;
  • 对各种系统各种型号的移动设备,进行远程控制;
  • 如何在 UI 自动化的过程中校验埋点数据;
  • 大量的 AB 实验,如何切换环境进行测试;
  • APP 安装包的管理,如何选择安装包进行覆盖安装.
  • …

架构

下面是小编自己从点到面一步步的思考历程,从基本的移动设备远程管理,case 编写到 case 的维护,再到 lab 平台的搭建:

主流工具调研

目前市面上有很多成熟的 UI 自动化工具,如appium,airtest,Sikuli等等,它们提供了非常便捷的录制服务,我们只需要在 idea 上拖拖拽拽,马上就可以生成一个简单的 UI 自动化脚本,且我们只需要将这些工具封装的工具库部署在我们的电脑上就可以多次运行我们编写的 case 了。

这里我们将分开剖析进行 UI 自动化用到的录制器和执行器的原理:

case 执行的原理

解读其源码我们发现这些工具其实底层的实现原理都基本相同,核心即为:对移动设备的远程控制,并将控制指令封装为可读通用的语法。

其实我们日常使用手机时,手机系统就是通过我们点击的屏幕坐标,从最上层的 view 依次向下遍历,直到找到该坐标位置下可以响应用户行为的 UI 控件,执行对应的响应代码。

但是我们在编写 case 时,如果 case 中记录的全是在某个坐标下对应的操作行为的话,就会特别的晦涩难懂,且针对不同屏幕尺寸的设备也完全不通用,这显然是行不通的。

真实的用户行为其实无非就是,点击了某个按钮,滑动了某个页面等等,主体其实就是 UI 控件,我们在编写 case 时也是一样的,我希望的是对某个 UI 控件进行操作,那么其实在执行 case 时,我们完全可以获取该 UI 控件在当前屏幕中的位置,再去调用底层的控制指令进行操作。

case 录制的原理

其实 case 录制的原理就是上述执行原理的逆向思维,我们可以在移动设备上开启 server 服务,将移动设备的屏幕影像通过二进制流的形式实时传输给录制器,将移动设备投屏到我们的录制器上。同时还需要实时获取移动设备上的 UI Tree ,当我们在录制器上进行鼠标移动时,利用鼠标在屏幕上的坐标信息从 UI tree 中遍历对应的 UI 元素,并打印该元素的所有 UI 信息。

是不是感觉很复杂,不用担心,已经有成熟的框架 Android Debug Bridge 和 WebDriverAgent 为我们提供了这些服务,下面👇会重点介绍的。

与移动设备进行通信的框架

在这里插入图片描述

有兴趣的同学可以自行 google。

这里我们直接选用网易的AirtestProject作为我们 UI 自动化的核心框架,原因:

  1. 提供了现成的脚本录制工具 Airtest IDE;
  2. 除了通过 path 定位元素外,还参考Sikuli支持图像识别定位 UI 元素;
  3. 相比于 Appium 移除了对 Java,JavaScript、Objective C、Java、Ruby、php、c#等语言的支持,更加轻量级;
  4. 提供了Airtest和Poco框架可以在 python 项目中直接引用,也支持命令行一键执行;
  5. 提供了更加直观的 report 报告。

Case 管理

解决了 case 的录制问题,下面我们再来思考 case 的管理问题,在录制 case 的过程中我们发现很多 case 都存在高度可复用模块,如登录模块,可能我们 80%的 case 中都进行了登录操作,若某个版本中登录页面的 UI 发生了改动,导致元素的 path 发生了改变,这个时候我们难道要找到所有设计到登录的 case,逐个进行修改吗?

其实在编写 UI 自动化 case 时,我们同样也需要设计模式,参考业界优秀模式,再结合我司实际场景,整理的大体思路入下:
在这里插入图片描述

基础层

  • 常用操作封装:抽离重复代码,进行封装;
  • 工具类封装:数据校验,设备信息获取,安装包数据查询,按照包下载等操作;
  • 埋点遍历封装:以单个页面为单位,获取所有可点击,可滑动,可编辑的 UI 元素,再模拟相应的用户行为;
  • 应用程序安装卸载封装:根据 udid 获取各版本对应的安装包,进行覆盖安装,或卸载安装;
  • 系统设置封装:切换环境,ab 实验,网络环境;
  • 版本选择封装:指定 case 运行的版本区间。

业务层

  • 页面封装:按照功能划分,如评论相关操作,登录相关操作等,将这些通用部分抽离并封装,供所有测试 case 调用;
  • 模块封装:进入某个业务模块的前置路基封装等。

用例层

  • 测试用例集:按照业务分子文件夹,包含该业务的所有测试用例。

框架层

  • suit:存放用于组织不同用例集的 Suit 类;
  • report:生成单个 case 的 report 报告,和整个 suit 的聚合报告。

APP 安装包管理

接入发布平台,定时轮训获取提测后的测试包和灰度包信息并落库。 表结构如下:

CREATE TABLE `lab_package` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `version` varchar(32) CHARACTER SET utf8mb4 DEFAULT '' COMMENT '版本号',
  `buildVersion` varchar(32) CHARACTER SET utf8mb4 DEFAULT '' COMMENT '构建版本号',
  `bundleId` varchar(255) CHARACTER SET utf8mb4 DEFAULT '' COMMENT '包ID',
  `pkgPath` varchar(255) CHARACTER SET utf8mb4 DEFAULT '' COMMENT '包存储路径,可以用来下载包体',
  `platform` varchar(255) DEFAULT NULL COMMENT '平台 ios/android',
  `timestamp` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `branch` varchar(255) DEFAULT NULL COMMENT ' 所属分支',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=579001 DEFAULT CHARSET=utf8;

在 case 指定版本范围时,从数据库中查询最新的符合要求的按照包地址(iOS 端存在多个不同 bundleId 的安装包,需要先根据设备的 udid 获取正确的 bundleId),然后下载安装包并安装到运行的设备上。

接入 mock 平台

UI 自动化 case 运行时,最大的困扰是 UI 界面的变动。但是如果我们接入 mock 平台,保障 case 运行时的界面和 case 编写时的界面以及数据是完全相同的,那么我们在执行 case 时校验验证点,将会变的轻而易举。

分布式

前面我们准备工作做好以后,就要考虑 case 运行的问题了。不同于接口自动化,UI 自动化依赖于真实的设备,但是设备资源是有限的,我们在一台 Mac 上运行时,根据 Mac 的性能,最多可以同时控制几台设备,但是当我们希望批量运行 case 时,可能需要在几十台甚至几百台设备上同时运行我们的 UI 自动化 case。此时我们就需要分布式了,搭建一个手机 lab 集群,由一台 server 分配任务,多台 worker 执行任务,远程控制连接在该 worker 上的移动设备,最后再将所有的 report 报告进行聚合。

lab 框架

语言:python

核心框架:tornado+celery+redis

在这里插入图片描述

整体架构:
在这里插入图片描述

lab 主要分两个模块,server 调度服务,以及 worker 集群。当 server 服务接收到用户执行指令时,会去 case 仓库遍历符合用户要求的 case 脚本,由 broker 中间件将任务分别分配给 worker 集群,各 worker 任务执行结束后,会将每个 case 的执行结果存储到 result 结果集之中,待任务全部执行结束 server 会生成总的聚合报告,并将 report 报告通过飞书发送给用户。

其中 worker 的整体架构如下:

在这里插入图片描述

当 worker 收到任务后,会开启多进程在连接的移动设备上批量执行 UI 自动化 case,

值得一提的是,worker 中本地资源的管理,分别是对安装包的管理和对 case 仓库的管理;

case 仓库其实是 lab 项目的子模块,测试人员在日常 case 的编写和维护都是在 case 仓库的项目中完成的,完全不用关心 lab 项目的维护;当有测试同学 push 代码到远程仓库时,Jenkins 就会调用 server 服务的接口,由 server 服务通知各个 worker 更新 case 仓库的代码即可,保证 worker 在批量运行自动化 case 时,代码是最新的;

安装包的管理:有两种形式,worker 服务除了每天定时获取最新的安装包列表缓存到本地外,当 case 执行时若本地安装包无法满足版本要求,worker 也会遍历 app 安装包的数据库,将适合的安装包缓存在本地并安装到移动设备中;

因为我们的 app 每天都在进行着很多的版本迭代,相应的我们的 case 可能只能在部分版本区间中运行,那么我们此时就需要在 case 中限制版本区间,当 case 运行时,判读设备中已安装的 app 版本是否在该区间内,若不存在则下载安装满足要求的版本到移动设备中再去执行 case;

更多更细节的设计这里就不再介绍了,有兴趣的同学留言探讨哦~

文|crystal

关注得物技术,携手走向技术的云端

相关推荐

压测AI Agent 治理与评测调优实践|得物技术

本文介绍智能分析Agent在压测调试中上线后的治理闭环建设:通过Langfuse记录完整执行链路,结合用户反馈与Trace还原问题根因;利用CLI Mock固化证据数据集,实现相同场景下的回测验证。基于固定案例与五档评分机制,持续评估方案质量、延迟与成本,确保修复有效且无新问题引入,推动Agent能力迭代优化。

SmartCodeTech的博客 317

从中心调度到自驱协作多 Agent 架构的三次反转|得物技术

本文探讨多Agent系统中的控制权分配问题,提出三大协作架构:Master Agent(中心调度)、任务看板(共享状态)与Advisor(轻量咨询)。通过划清上下文边界与模型边界,强调应以信息相关性而非职业标签划分Agent。三种模式分别将决策权集中于中心、下放至共享状态、再下沉至执行者,形成控制权逐步下沉的演进路径。案例显示,合理设计可提升复杂任务的并行性、弹性与可维护性。

SmartCodeTech的博客 420

Jev 实战:为AI工作流引入轻量决策层 x10倍提速|得物技术

完成这三个场景后,我对适用边界有了更明确的认识:它们都可以先定义答案范围,再根据判断结果驱动下一步操作。接入时,我会优先明确输入、选项、采纳条件和兜底路径,再评估Jev是否适合承担这一环节。结合这些实践,我更容易理解Jev(TypeSafe System One)作为专用结构化决策模型不生成自然语言,而是返回带概率的判断结果。后续接入时,我会继续从脚本中边界明确的判断任务开始,分别验证准确性、耗时和费用,再决定是否扩大使用范围。下面整理了相关能力、限制和接入要点,便于查阅。

SmartCodeTech的博客 346

国产算力·昇腾 910C 大模型推理优化(下):源码修改与算子优化,提速30%|得物技术

本文延续上篇,深入vllm-ascend源码优化:通过多流重叠实现MoE共享专家并行计算,消除冗余事件开销,并解除与FUSED_MC2的互斥限制,实现c=1下TPOT从8.2ms降至8.0ms;优化decode阶段host侧开销,引入状态跟踪跳过冗余拷贝;设计Block Table CPU快路径,规避小batch下NPU kernel启动延迟;针对GDN层融合L2Norm至recurrent kernel,减少算子调用与内存往返。综合优化后推理性能显著提升,形成可复用的昇腾910C大模型推理优化方法论。

SmartCodeTech的博客 248

国产算力·昇腾 910C 大模型推理优化(上):镜像更新与参数调优,提速 40%|得物技术

文中详细给出每一项优化的动机、实现(含具体源码改动路径与关键代码片段)、验证数据与踩坑记录(包括十余项实测无效或负向的尝试),希望为同样在国产算力上做推理优化的团队提供一份可直接复用的工程参考。

SmartCodeTech的博客 227

动态规则的 Agent 实践:用确定性工程驾驭 LLM 的资产智能验收

面对财务验收中规则多变、材料非结构化、核对复杂等痛点,传统规则引擎难以应对。系统采用“规则即配置”思路,由大语言模型(LLM)负责理解合同、扫描件等非结构化材料并执行语义比对,工程系统则保障流程编排与可追溯性。通过异步处理、幂等设计、三类流量隔离及双通道(文本/图像)处理,实现高效稳定运行。结合用户反馈构建自动标准答案,辅以试跑、回测与发布门禁机制,形成闭环质量体系。底层采用确定性工作流架构,确保行为可预期、可测试,真正实现灵活规则的快速迭代与安全上线。

SmartCodeTech的博客 345

发一张图,它居然“跃“出屏幕了?一文读懂得物 3D 空间图片技术实践

3D 空间图片功能的落地,涉及模型生成、内容分发、客户端渲染之间的一系列取舍。本文重点分享如何生产出高质量、小体积的模型,以及如何在手机上流畅运行。

SmartCodeTech的博客 555

别再只卷向量检索了,得物交易搜索如何用“生成式”实现召回范式跃迁?

你搜"af1",它得给你"空军一号"。这一年,得物交易搜索把召回从"做选择题"改成了"写答案"——不再从商品池里"找"最像的,而是让模型自己"生成"你真正想要的。从 LLM 语义索引到 HLLM、语义 ID,搜索是怎么从"检索"走向"生成"的?

SmartCodeTech的博客 594

指标平台:从语义底座到智能消费的实践路径|得物技术

这篇文章想做的,不是在本体化的宏大叙事上再叠加一层理论,而是把我们在真实落地中验证过的路径讲清楚:语义底座怎么从零建立起来、怎么保证质量不失控、怎么支撑 Text2SQL 和 AI Coding 两条消费主线,以及沿着这条路径往前走,下一步该往哪个方向发力。

SmartCodeTech的博客 317

企业级 MultiAgent 落地:Plan 模式与主子 Agent 协作|得物技术

基于 AgentScope Java 的企业级 MultiAgent 平台,为研发、数据分析和知识问答等场景提供统一的模型调用、工具接入、任务编排、流式输出与运行追踪能力。

SmartCodeTech的博客 302

得物小摊 AI Native 演进实录:用 Harness 构建可控 AI 交付

AI Coding 一个人用很顺手,进了团队就漏:指令没人审、经验难沉淀、过程看不见、链路不闭环。作者团队基于 Multica 做了 EP-Harness,把 Agent 当成员管,给它套一层可执行、可观察、可治理的 Harness,并让反馈闭环。成果:可追溯决策、多 Agent 协作,高频异常从每 4 小时 2400 多条降到个位数,对得物技术补上团队级 AI 协作关键一环。

SmartCodeTech的博客 544

企业级 MultiAgent 的记忆系统:短期上下文与四层记忆架构实现|得物技术

在 MultiAgent 平台中,Agent 的"记忆"能力是实现智能对话和个性化服务的核心资产。本文深入剖析 Agent 记忆系统的设计理念与实现细节,重点解析长期记忆架构的写入与加载流程,涵盖 LLM 智能判断、语义检索、Token 预算控制、冲突处理等关键技术,为开发者提供完整的技术实现参考。

SmartCodeTech的博客 502

EP-Harness:从个人 AI Coding 到团队级 Agent 工作流|得物技术

AI Coding 个人用得爽,一到团队就崩。EP-Harness 把 Agent 从聊天工具变成团队协作成员——可管理、可追溯、可闭环。落地后高频异常从 2400+/4h 收敛到个位数。

SmartCodeTech的博客 694

得物知识问答:复合检索 Agent 的系统设计实践

从"搜到什么用什么"到"搜→筛→挖→验"自主决策闭环——我们造了一个有判断力的 RAG Agent,不是套壳。

SmartCodeTech的博客 736

实战从零开始构建一个Coding Agent:Violin |得物技术

理解了 coding agent 的构建原理,也就掌握了理解其他 agent 的一把钥匙。笔者对每天都在使用的 agent 原理很感兴趣,于是决定自己写一个:violin。

SmartCodeTech的博客 927

AI Native 交易核心系统的研发范式|得物技术

如何改造旧研发流程适配 AI 编码?本文提出五道标准化关口治理思路,依托 Claude Code Spec-Driven 插件打通需求澄清、方案设计、TDD 落地、门禁管控与埋点监控,构建带人工确认门控的完整工作流,以五层自底向上架构实现 AI 编码规范化落地。

SmartCodeTech的博客 975

推荐系统体验的数字化突破:得物自动化评测平台的技术实践|AICon 文章整理

「得物推荐 AI Harness 工程化实践系列」的末篇内容,本系列共三篇连载。本篇(末篇)详解得物推荐评测平台的完整技术体系:从主观体验量化到大模型自动化评测流水线,涵盖多维度指标设计、人机协作提示词校验闭环、分布式任务调度与成本精控等核心工程实现,以及单周百万级审计需求下实现 91% 资源成本优化的工业级落地实战细节。

SmartCodeTech的博客 1495

RAG 核心概念与原理:Chunking、Embedding、相似度、HNSW 与多路召回|得物技术

决定 RAG 效果的关键不在大模型,而是文本切块、查询改写、多路召回与精排。合理切块存好知识库内容,向量匹配抓语义、BM25 匹配关键词互补。先优化用户提问,快速召回一批相关文档,再用精排模型精细筛选,整套检索流程配合到位,问答准确度才会明显提升。

SmartCodeTech的博客 1082

从“机械应答“到“服务伙伴“:得物高可控智能客服的 Agent 工程实践|AICon 演讲整理

本次分享围绕以下核心技术展开:客服 Agent 挑战与架构设计(Single-Agent→Multi-Agent→Harness);高可控性数据飞轮(PE 自动化 + DPO 训练);RL 策略训练和人工经验对齐;多轮半双工消息流控制。

SmartCodeTech的博客 755

得物推荐系统诊断 Agent:从 “调接口” 到 “会思考”|AICon 演讲整理

本文是得物技术专家在 AICon 上海演讲整理的技术实录。AICon上海2026_全球人工智能开发与应用大会暨大模型应用生态展_InfoQ技术大会「得物推荐 AI Harness 工程化实践系列」的中篇内容,本系列共三篇连载。本篇(中篇)进一步详解得物推荐复杂业务场景下,AI代码从生成、防护校验到安全上线的完整技术体系、自研AI Harness整体架构框架、全流程安全防护机制、混合智能体核心算法实现,以及工业级工程落地的实战细节。

SmartCodeTech的博客 1365

得物 OceanBase 落地实践

得物选型OceanBase多模数据库应对业务挑战,通过验证其高可用架构、存储压缩技术及混合负载处理能力。测试显示OceanBase在复杂查询场景性能较MySQL提升130-200倍,在高并发TP/AP混合场景表现优异,存储成本降低40%+。通过DBA内部报表业务试点验证其稳定性后,逐步推广至核心业务场景,优化数据库技术栈,实现性能与成本的双重收益。

SmartCodeTech的博客 1385

AI UITester:AI Native 的 UI 自动化测试新范式|得物技术

ai_uitester 代表了 AI Native 的 UI 自动化测试新范式:这不仅是工具的升级,而是测试范式的转变 ------ 从 "代码驱动" 转向 "视觉驱动",从 "人工调试" 转向 "AI 自愈",从 "三端分离" 转向 "统一抽象"。

SmartCodeTech的博客 780

从狂野代码到按目标生产:得物推荐 AI Harness 的工程化实践|AICon 演讲整理

本文是得物技术专家在 AICon 上海演讲整理的技术实录。「得物推荐 AI Harness 工程化实践系列」的开篇内容,本系列共三篇连载。将系统拆解得物推荐复杂业务场景下,AI 代码从生成、防护校验到安全上线的完整技术体系,逐一详解自研 AI Harness 整体架构框架、全流程安全防护机制、混合智能体核心算法实现,以及工业级工程落地的实战细节。本篇(上篇):将整体介绍团队自研的 AI Harness 体系,包括建设思路、全生命周期防护机制、混合智能体架构及落地效果。

SmartCodeTech的博客 1082

从表单到 Agent:得物社区活动搭建的 AI 实践之路

一场营销活动从策划到上线,运营要在三个系统间跳转 10 + 次、填写 40 + 个字段。我们用 AI 重新设计了这条链路 —— 从 “AI 帮你填表单” 到 “两阶段 Agent + 聚合工作台”。这篇文章记录的不是技术细节,而是这条路上的选择和反思。

SmartCodeTech的博客 745

从埋点需求到规则资产:Hermes Agent 重构得物数仓工作流

埋点和指标需求中,消耗数据承接方的不是生成答案,而是补齐证据链、对齐历史口径、识别下游影响,并在生产写入前留下可追溯的确认记录。本文数据承接方指承接业务需求的数据同学或业务合作伙伴;后文讨论内部研发、元数据、查询和门禁能力在流程中的角色。

SmartCodeTech的博客 657

让 Claude Code 拥有自我进化和记忆系统|得物技术

本文记录了为 Claude Code 构建的一套持久化记忆与自我学习系统的设计思路与实现细节。这套系统让 AI 助手能够跨越会话边界记住用户习惯,并在每次对话结束后自动提炼行为规律和系统信息,通过向量检索快速提取关键信息,下一次对话时主动应用,逐步进化为更懂你的编程伙伴。

SmartCodeTech的博客 994

用 LLM Agent 重构告警排查流程|得物技术

告警排查需频繁切换日志、APM、链路追踪等多个平台,耗时 10~30 分钟,且高度依赖个人经验。我们做了 Troubleshooter——用 LLM Agent 自动完成数据采集、根因分析和处置建议生成。上线后中位数排查耗时从 20 分钟降到 4.4 分钟,覆盖 11 个服务和 10+ 种告警类型。

SmartCodeTech的博客 1008

HorizonVault 技术深潜:如何在 HDD 上做出 100GB/s+ 级大吞吐分布式存储|得物技术

HorizonVault是一款面向Kafka远程存储的高吞吐分布式存储引擎,通过分布式并行写入和状态感知调度解决冷数据存储的三大核心问题:吞吐瓶颈、性能抖动和恢复能力。系统采用分层架构,Meta负责全局资源调度,Broker处理请求路由,Store实现本地磁盘管理,形成完整的写入治理链路。通过将HDD磁盘提升为一等资源,实现顺序追加写入、多盘并行和慢盘隔离,在保证高吞吐的同时控制延迟。存储结构采用DiskStore组织磁盘资源,LogSegment顺序写入数据,IndexSegment定位读取,Change

SmartCodeTech的博客 892

Claude Code Harness 工程:数仓侧落地方案|得物技术

Harness 工程通过职责分层实现研发流水线可靠性提升。Claude 负责需求理解与代码生成等语义层工作;hooks 负责规范检查等确定性执行;Subagents 隔离血缘查询、自测等高 token 操作;Memory 承载跨会话状态持久化。四层协同使数仓 AI 开发从"对话式辅助"转变为"规则驱动的自动化流程"。

SmartCodeTech的博客 1103

BP Claw 破解 AI 编码输入难题 ——FlinkSpec 需求智能化实践|得物技术

本文为 FlinkSpec 系列之开篇,亦是这场工程化变革的序章。BP Claw 所立之处,不过链路之源。FlinkSpec 所图,乃以 AI 之力,将实时数仓从需求落地至验收上线的全程工序,熔铸为一套精密自洽、生生不息的智能工程体系。宏图未竟,后续系列将逐章揭幕,敬请期待!

SmartCodeTech的博客 1039
上一篇: 【得物技术】得物前端性能监控实践
下一篇: 【得物技术】网络优化——域名解析原理&实践
得物技术
得物技术 得物技术官方账号 得物技术官方账号
博客等级 码龄6年 2492粉丝 408原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值