腾讯文档大仓服务治理:基于自研tRPC框架的研发提效实践

38144c5daa99877a8856776f3d43076d.png

6467e0cd0b4c0f8638fb7191cf652b09.gif

👉目录

1 背景现状

2 tRPC 脚手架工具建设

    2.1 trpcx.NewServer()

    2.2 tRPC插件引入

    2.3 OpenTelemetry yaml 文件创建

    2.4 规范目录结构生成

3 文档天机阁租户降本增效

    3.1 ClickHouse 优势

    3.2 存储迁移节奏

    3.3 文档租户数据计算

    3.4 落地效果对比

4 可观测性最佳实践

    4.1 可观测性是什么

    4.2 三大数据模型

    4.3 OpenTelemetry 是什么

    4.4 天机阁与 OpenTelemetry 关系

    4.5 目前不规范实践

    4.6 服务接入

    4.7 基于监控进行根因分析

    4.8 排查现网问题正确姿势

针对腾讯文档后台大仓研发模式,在后台非标 tRPC 服务改造过程中,结合基础架构组开发的通用 trpcx 和脚手架工具,以插件化、标准化、可观测性为目的,赋能文档后台研发效能提升。同时,通过迁移天机阁 ES 存储至 ClickHouse,实现文档后台业务增效。

01

背景现状

tRPC 是腾讯自研的高性能、跨平台、插件化、具备高度服务治理能力的 RPC  框架, 目前在公司内各大业务广泛使用并已对外开源,详见:腾讯开源 tRPC:多语言、高性能 RPC 开发框架。文档后台使用大仓研发模式进行项目管理。在过去存量服务中,有以下等问题亟待解决优化:

  • 第一,框架层未实现统一,存在大量使用非标 tRPC-Go 服务的情况,同时存有部分非 tRPC 的 Golang 服务和少量 Java、PHP、SSPP 等服务,后台内部系统异构。

  • 第二,中间件难以复用,没有使用 tRPC 提供的众多中间件及存储生态,而是不同模块、不同小组单独封装,如 rLog、Redis、Errors 等,存在重复造轮子的成本和大量废弃代码的风险,不符合 Less is More 原则。

  • 第三,服务边界不清晰,存量服务过于庞大且耦合,通常有几十甚至上百个接口,多人同时修改一个服务,频繁发布时可能导致夹带他人变更而不自知,不符合 Simple is Best 原则。

  • 第四,目录结构不规范,各形各色的目录结构导致代码可读性极低,不利于团队一致性提升,不能充分利用可观测性手段治理服务可用性及性能。

  • 第五,可观测性利用不充分,存量服务大多接入了天机阁等内部可观测性平台,但在天机阁使用上强依赖 Traces 能力,导致故障定位效率低下、全量上报 Traces 成本高昂,且 Metrics、Logs、告警等能力未充分利用。

但是目前天机阁不对外服务,大家有企业可观测性建设的需求,可以试用腾讯云可观测平台(TCOP):TCOP包含了云拨测 (CAT),云压测(PTS)、前端/终端性能监控 (RUM)、应用性能监控 (APM)、Prometheus & Grafana 服务以及云产品基础监控等多个子产品,经过往几年产品的打磨与积累,在可观测领域已经形成了相对比较完整的产品矩阵,且积累了丰富的行业客户案例。新客户也有免费 15 天试用期。

体验地址:https://cloud.tencent.com/product/tcop

02

tRPC 脚手架工具建设


   2.1 trpcx.NewServer()

文档后台封装有通用 tRPC 服务启动工具,读取本机 trpc.yaml 文件,通过 Config as Code 进行服务启动初始化配置加载。该部分代码无需开发自行填写,使用 ./create_app.sh + 模块名 + 服务名,脚本即可自动生成对应所有代码目录、配置文件、启动服务等。

注意,这里服务命名建议遵循 tRPC 命名规范,模块名为 app Name,服务名为 Server Name,均使用全小写字母。例如:文档收集表后台数据统计服务,app 为 formcollect,server 为 formstatistics。为区分各业务与模块的边界,应避免使用 docx 作为 app Name。

   2.2 tRPC 插件引入

文档后台开发有多种插件 filter,如:

  • dyeing:环境路由拦截器。针对 HTTP 请求 cookie 中的环境路由字段设置到 metadata 中,从而将请求路由到指定环境。

  • trpctelemetry:天机阁 tRPC 插件。针对请求、服务、容器等维度,对 Traces、Metrics、Logs 等数据进行上报和拉取。

  • telemetryx:Traces 扩展字段拦截器。针对 HTTP 请求和 tRPC 请求分别从 head cookie 和 metadata 中取出 uid、env_id、docid 等业务关注字段,设置到天机阁 Trace Attributes 中。

  • apiheader:登陆态解析拦截器。针对 HTTP 请求中的文档登陆态、QQ登录态、客户端 IP 等字段填充到 context 的 api.ReqHeader 结构中,透传给下游。

  • checkLoginStatus:登陆态校验拦截器。针对请求校验用户当前登陆态,通常 CGI 服务都需要引入该插件。

截至目前,通用型必须引入的插件已经统一引入到 trpcx 服务启动中,业务代码中无需重复匿名引用,只需通过 trpcx.NewServer() 即可自动配置通用插件。如业务需要使用自定义插件,可以自行引用。但是目前插件功能过于分散。未来计划将类似功能的插件收敛到统一插件中,如 telemetryx 和 dyeing 插件,其实现都是从 cookie 中特定字段添加到 metadata 中进行扩展上报,收敛后有助于降低使用插件时的心智负担。

   2.3 OpenTelemetry yaml 文件创建

遵循 “Git as Code” 和 “可观测性 as Code” 的原则,使用 create_app.sh 脚本默认会根据模块名和服务名创建好服务接入天机阁 GitOps 告警对应的 opentelemetry.yml 文件,在里面可以根据 PromQL 表达式编写具体告警规则。

a3152d8e63bc653dab056b2273b3ae75.png

通过监听文档后台工蜂仓库的 Push Event 事件,触发天机阁 WebHook,将子服务目录下对应 opentelemetry.yml 配置文件经天机阁运维服务解析处理后,将最终执行规则存储至天机阁 Etcd 中,最终由运维服务执行如 告警发送、设置错误码特例等。

   2.4 规范目录结构生成

f68bb2c3bbdf90c45b011699bd1d0341.jpeg

基本原则:高内聚、低耦合。

Service:代码入口层。不耦合业务逻辑,仅做对外接口的封装和提供。Logic:业务逻辑层。与对外接口和外部依赖以及开发框架解耦的纯业务逻辑层。Repo:网络依赖层。外部 RPC 调用/读写 DB/远程配置/中间件 等第三方网络依赖层。

使用 tRPC 脚手架,自动生成对应代码目录规范,无需手动创建目录结构,直接根据对应的服务 PB 编写业务逻辑代码。

03

文档天机阁租户降本增效

为解决业务可观测性数据存储 ElasticSearch 的高成本痛点、满足用户降本增效的诉求,经天机阁团队和云观(可观测性标准和工具)Oteam 联合研发,提供了天机阁 ClickHouse 版本。天机阁腾讯文档 tdocs 租户积极响应公司号召,于2022年7月将底层存储从 ElasticSearch 迁移至 ClickHouse。

   3.1 ClickHouse优势

ClickHouse 优势在于,批量写入吞吐量高,压缩率高,尤其适合 Traces、Logs 这类写多读少的场景、且数据只写入不更新,对于删除只需要过期时批量删除。

   3.2 存储迁移节奏

2022年7月5日-7.10日为灰度验证阶段,从 ElasticSearch 集群复制 10% 流量,用来灰度验证文档租户数据压缩比与成本核算。2022年7月11日-7.15日为全量复制阶段,Traces 和 Logs 数据复制流量双写至 ElasticSearch 和 ClickHouse 集群,便于研发同学提前熟悉适应 ClickHouse 的类 SQL 查询语法和规范使用姿势。2022年7月16日以后为完成切换阶段,将下掉 ElasticSearch 集群,全面拥抱 ClickHouse 存储,以更低的成本、更强悍的性能,为研发效能的提升赋能。

   3.3 文档租户数据计算

灰度验证阶段数据统计结果如下:

91b0d036d8b8c883b4c44f49823bd555.jpeg

文档的 Traces 压缩比是 7:1,当前一天 433TB 数据,按 450TB 计算,保留 7 天,需要 7~8 天的空间 3600TB,压缩后是 515TB。文档的 Logs 的压缩比是 11:1,当前一天 26TB,按 30TB 计算,保留 7 天,需要 7~8 天的空间 240TB,压缩后是21.8TB。高性能型 ClickHouse 每个节点 7TB SSD,大存储型 ClickHouse 每个节点43TB SSD,但由于腾讯云高性能型资源不足,不便于后续水平扩容,因此选用大存储型。32C 每天大约可以支撑 10~15TB 写入量,预计需要 45 节点左右。相比原来的 ES 90 节点降低约一半成本。为了给查询预留 CPU Buffer,同时为 Logs 放量提前预留空间,最终选择 50 节点 ClickHouse 集群。

   3.4 落地效果对比

Traces、Logs 原始上报数据量对比:

edaabe60c56c6c8929344805933a5ab6.png

ElastisSearch、ClickHouse 集群资源对比:

f53e2c86e8e70593ad50b6bde3787bb6.png

查询时使用 ClickHouse 数据源:

80a0a3ad226c863245126465b68023fb.png

04

可观测性最佳实践

   4.1 可观测性是什么

可观测性起源于自动控制理论,它是指系统可以由其外部输出推断其其内部状态的程度。最早来自于电气工程领域,主要原因是随着系统发展的逐步复杂,必须要有一套机制用来了解系统内部的运行状态以便更好的监控和问题修复,为此工程师们设计了很多传感器、仪表盘用于表现系统内部的状态。其定义是,如果仅使⽤来⾃输出的信息(即传感器数据)可以估计当前状态,则系统被认为是“可观测的”。

那么对于软件分布式系统,例如微服务、Serverless、ServiceMesh 等中,可观测性系统将输出遥测(telemetry)数据,主要是跟踪数据(Traces),指标数据(Metrics),日志数据(Logs)来观测分布式系统状态的能力。

   4.2 三大数据模型

Traces:分布式追踪,提供了一个请求从接收到处理完成整个生命周期的跟踪路径。可以跨进程、跨网络和跨安全边界。例如,前端发送 HTTP 请求开始,所经过的所有下游服务,最终根据 traceID 串联起来形成一条完整的请求链路。

Metrics:指标监控。指标是⼀种可累加的聚合的数值结果,具有原⼦性。例如,经常说的 QPS、TPS、SLA 都是计算后得到的 Metrics;基础设施中的 CPU 使⽤率、负载情况、内存占用率等也可以认为是 Metrics。

Logs:服务日志。在特定时间发⽣的事件,被以结构化的形式记录并产⽣的⽂本数据。⽇志可以为本人们展现系统在任意时间的运⾏状态,又因为它是结构化的⽂本,所以本人们很容易通过某种格式来进⾏索引。

e739cf90466cf26ffddae653c5e81bbd.jpeg


   4.3 OpenTelemetry 是什么

OpenTelemetry is a collection of tools, APIs, and SDKs. You can use it to instrument, generate, collect, and export telemetry data (metrics, logs, and traces) for analysis in order to understand your software's performance and behavior.

可观测性指应用程序通过输出信号来观测理解系统内部状态的一种能力。目前实践中主要提供以上三种信号(Signal) 。

3aa05b253e5c448855fb27188eee87b8.png

   4.4 天机阁与 OpenTelemetry 关系

天机阁作为公司内部优秀的云原生可观测性平台, 基于业界 CNCF OpenTelemetry 标准, 旨在打造标准化的云原生可观测性基础设施及服务。目前平台已稳定服务公司内180+业务, 提供万亿级数据的可观测支撑能力。

   4.5 目前不规范实践

   4.5.1 业务查问题强依赖 Traces

使用姿势不规范,业务查问题强依赖 Traces,通常前端/测试提供给到 traceID 信息,然后直接根据 trace-detail 查询,由于未根据索引检索导致查询时间缓慢;完整链路检索出的瀑布图过长,甚至部分服务达到上万+ span,定位过程变得肉眼检索且不可控。

fb13cf3858b67b8af1fee2021832017a.jpeg

   4.5.2 Traces 嵌套过多冗余 Logs 信息

使用 rLog 或 trace.AddEvent() 把日志嵌套在 Traces 中,导致 Traces 过长,存储至 ClickHouse 压缩比也随之下降。同时 rLog 仍会将数据写到天机阁 log-detail 中,数据双写导致成本上涨。

2123d7d8129077961fd934d93f953610.jpeg



   4.5.3 未充分利用 Logs 进行故障分析

目前 Traces 流量是 Logs 的近 20 倍,这是不健康的落地存储方式,反映出服务普遍没有使用标准 tRPC-Log。

   4.5.4 未充分利用 Metrics 监控告警主动发现问题

Metrics 监控顾名思义,是帮助开发同学根据服务运行时的概况进行主动的问题发现,能够让开发一切尽在掌握,如主被调的成功率、异常率、超时率,容器维度的协程数、GC、健康状态等。同样,基于监控的告警可以在异常时通知到服务负责人。

2db7df1b6fd391809543652d113f61aa.png

   4.5.5 不理解 Traces Logs Metrics 的区别和作用

Traces 可以帮助进行分布式追踪梳理上下游调用链路和架构治理,Metrics 可以帮助根据服务概况发现问题,Logs 可以帮助进行故障定位和根因分析。

   4.6 服务接入

目前后台 tRPC 脚手架中已默认集成天机阁 opentelemetry.yml 文件,且天机阁2.0(tpstelemetry) 工蜂公共账号加为文档后台大仓 docx-online 项目组 Reporter 权限,同时设置webhook地址为 http://gitops.tpstelemetry.woa.com/webhook?match_pattern=opentelemetry.yml 表示匹配完整文件路径名为 opentelemetry.yml 的文件,不限目录。

业务在接入过程中,无需修改任何配置,即可自动接入天机阁 GitOps 能力,后续有新增告警项或错误码特例,均可直接在项目 yaml 文件内做修改。需要注意 opentelemetry.yml 文件中的 app 和 server 需要和 trpc.yaml 中保持一致。

opentelemetry.yml 定义例子-最小集简洁版:

version: v1 # 版本, 不同版本对应下文解析格式不同


owners:
  - name: rtx_name_1   # 告警接收人用户名
  - name: rtx_name_2   # 告警接收人用户名


resource:
  tenant: tenantName # 请改为服务对应的租户
  app: appName     # app
  server: serverName    # server
  cloud:
    provider: provider
    platform: "platform"


alert:
  items:
    - alert: 主调异常率>5% # 标题
      metric: client_request_exception_rate_percent  # 系统定义的告警项, 参考见表格
      type: max          # type 告警类型        
      threshold: 5       # 告警阈值 数值
    - alert: 被调异常率>5%
      metric: server_handled_exception_rate_percent # 系统定义的告警项, 参考见表格
      type: max        
      threshold: 5
    - alert: 主调请求量5分钟波动百分比>70%
      metric: client_request_count # 系统定义的告警项, 参考见表格
      type: wave
      threshold: 70
    - alert: 被调请求量5分钟波动百分比>70%
      metric: server_handled_exception_rate_percent # 系统定义的告警项, 参考见表格
      type: wave
      threshold: 70
    - alert: 小卡不成对被过滤>5 # 标题
      metric: "小卡不成对被过滤" # 自定义上报的属性名. 属性上报代码示例 metrics.IncrCounter("小卡不成对被过滤", 1)
      type: max
      threshold: 5


metric: # 错误码特例
  codes:
    - code: 0
      type: success
      description: "成功"
    - code: 200
      type: success
      description: "成功"
    - code: 1001
      type: exception
      description: "鉴权异常"
    - code: 9999
      type: timeout
      description: "请求超时"
      service: # 不为空表示错误码特例仅匹配特定的 callee_service, 为空表示所有 callee_service.
      method: # 不为空表示错误码特例仅匹配特定的 callee_method, 为空表示所有 callee_method.

天机阁告警规则现已全部收敛至 GitOps 告警,将全局告警规则托管至 Etcd 废除掉,如租户想修改自己租户下的全局规则,可以自行修改并只应用于当前租户下全局服务。

4addea9348a18c85b1348d356e4c31e1.png

如有服务下线,需要下线所有监控告警项,不可以删除对应 yaml 文件,在保留文件的同时将所有 items 项规则删除即可去除告警。

   4.7 基于监控进行根因分析

以收集表后台 docx.formcollect 服务为例。服务有现网请求后,通常需要保持一段时间观察,尤其在前端放量和后台发布期间, 由于新老逻辑的切换可能导致现网用户受到影响。天机阁提供有全面的多维度看板,包括有开发、测试、运维、产品、运营、技术负责人等多方位视角,全面观测业务质量。

我们以收集表后台为例,利用天机阁Metrics监控能力分析现网业务情况。Metrics更关注系统级别的高效指标而不是单个请求级别,不要在Metrics中放过多的细节label,单独Metrics无法解决所有的可观测性问题,详细的信息应记录Logs和Traces中,或者在Exemplar带上traceID,充分利用三大信号 Metrics/Logs/Traces 关联 一起来观测系统。

首先,从首页进入,通过筛选框选择对应服务,点击监控链接跳转至监控视图看板;

95d97f5516ab3e0a1896795a6937fea7.jpeg

其次,监控视图中,有各个维度针对该服务的所有监控,全部由天机阁 tRPC 插件完成监控上报,业务无需进行任何改造,按上述接入方式接入插件即可;

acdd14630d45402aeecdadad7d214cd3.png

基础信息监控:从服务整体角度,节点数、CPU 核数、内存总量等;版本监控:Go、tRPC、天机阁插件等版本信息;进程监控:容器维度进程监控,CPU 和 MEM 使用率,重启次数等;运行时监控:程序运行时维度监控,协程、线程、GC 耗时、Panic 次数;主调总览+主调监控:我调下游服务监控;被调总览+被调监控:上游服务调我监控;SDK 上报监控:traces、logs 上报队列成功率、丢失率;自定义指标监控:业务代码使用 tRPC-Metrics 或原生 Prometheus 方式自定义指标上报监控。

再次,以某现网请求量最大的接口为例,当我们在被调监控中发现,/0xfff0001/11(Recordcnt)接口成功率仅有99.5%,不符合我们3个9成功率的 SLA 后台可用性. 那么针对该接口进行深入分析:

ce3b89cb1f486f993c080da17ecee399.jpeg

然后,在接口维度的被调监控中,所有默认监控进行了 Exemplar 锚点,可以简单理解为,在实现从 Metrics 关联到 Traces 时,将 traceID 塞入了 Prometheus Metrics 中的 Label 中。

7287124e0b22d2919fdd39c2558bddab.jpeg

另外,最终实现的效果是,如下图,我们可以根据 Exemplar 锚点,直接跳转到错误 code 为12003的异常请求上,看到其具体 trace detail, 找到最终发生异常的 span 环节,定位到错误发生的环节。

ccca4648e86e3bd0966a22beefe64686.jpeg

最后,在找到异常发生环节后,可以根据 Logs for this span,自动定位到具体环节上报的日志,通过日志信息辅助进行故障定位、根因分析,最终找到故障发生的最终原因为,从 Redis 获取数据值为空。

1b55e724986f057362400d071a6e79da.jpeg

   4.8 排查现网问题正确姿势

首页服务列表提供超链接,点击自动拼接服务名查询条件。 

039a49b11d0a8b76463681abbff69655.jpeg

方法1:根据 trace-index —> trace-detail 观察服务调用链路上下游

8499fe9431502704ebb43a3e82ea9fd6.jpeg

方法2:根据 trace-detail —> log-detail 观察此 traceID 在此 server 的 log

64deb3124d91894c86023bc25c35a354.png

579421136e9c0694dfa5683238493c93.jpeg

方法3:直接查询 log-detail 数据源,根据 uid 查询用户所有请求日志并观察

af5d8dad8cb9c0aab0e9dc03b2163d0e.jpeg

场景1:用户反馈 Bug,运营同学拉群给到 traceID,根据 traceID 定位到具体服务问题出现 server 后,根据 server 和 traceID 查询 Log-detail,使用方法1+方法2。场景2:用户反馈 Bug,运营同学拉群给到 uid,根据 uid 检索用户在问题时间段内请求日志,根据 message like 或 error 检索到对应的错误日志,使用方法3。

-End-
原创作者 | 张瀚元
 

后台服务治理中,如何提升可观测性?有哪些意识和工具推荐?欢迎评论留言。我们将选取1则优质的评论,送出腾讯Q哥公仔1个(见下图)。4月9日中午12点开奖。

📢📢欢迎加入腾讯云开发者社群,享前沿资讯、大咖干货,找兴趣搭子,交同城好友,更有鹅厂招聘机会、限量周边好礼等你来~

(长按图片立即扫码)

相关推荐

大模型的Agent Skill功能,在LLM HTTP底层交互流中是怎么承载的?

网络文章文本的 skill,昨天我实现了之后也就开始好奇起 Skills 的底层原理了——相比起各种花里胡哨的 agrnt 应用,我一直以来都很对大模型在纯粹的 HTTP 交互层面是如何交互的更感兴趣。Skill 的全部"魔法"都发生在 system prompt 的措辞和 SKILL.md 文件的编写质量上——本质上是一种 prompt engineering + 文件系统的组合。但是各种天花乱坠的 skills,是如何在底层的 HTTP 中,与大模型——这个只会嘴遁的工具交互的呢?

QcloudCommunity的博客 407

万字入门AI Infra:深入理解大模型中的数学与Infra优化

关注腾讯云开发者,一手技术干货提前解锁👇AI Infra科普、入门或者进阶 ~~ 不到 5 万字,带你融会贯通理解大模型的数学、算法、硬件到系统工程。任何问题欢迎沟通交流。可怕,我竟然有点认同这句话。当然大概率是因为姚顺宇太懂AI了,而我则是因为无知者无畏。不过仔细想想,大模型推理中的数学逻辑确实不复杂,很多原理只需要高中数学知识就能看懂。但是为什么像 vLLM 这种推理系统这么复杂呢?本文将拆解大模型中几个核心操作(RMSNorm、Softmax、Causal Mask、Sampling)背后的数学与

QcloudCommunity的博客 1169

平平无奇的源码,竟藏着Agent的核心秘密?

System Prompt 是剧本,Skill 是剧本的扩展包,Agent Loop 是演员按剧本行动。欢迎留言,我们将邀请作者针对性回复你的评论,我们将选取1则优质的评论,送出腾讯云定制文件袋套装。,让 Agent 能主动"巡逻",而不只是被动等待用户消息。OpenClaw 的 System Prompt 分层结构。的"行为底线",任何 Skill 或用户命令都无法覆盖它。精华 2:Skill 的"按需加载"避免 token 浪费。精华 1:System Prompt 是"分层乐高积木"

QcloudCommunity的博客 426

QQ音乐Harness Engineering实践

一个看似简单的需求,背后可能牵动服务调用链、配置、灰度、埋点、错误码、接口契约和历史兼容性。当 AI 开始快速生成大量代码,真正的瓶颈就不再是"写不出来",而是"看不完、想不清、管不住"。在对话式编码阶段,一种典型的工作模式逐渐流行:开发者把需求丢给 AI,扫一眼输出"看起来对"就直接采纳,不审 diff、不追问逻辑、不验证边界。以音乐商业化业务为例,一个需求可能从 TAPD 单开始,经过需求评审、技术方案、服务影响面分析、IDL 契约变更、业务代码实现、测试验证、CR、灰度上线,最后才进入稳定运行。

QcloudCommunity的博客 716

从Prompt、Context到Harness,工程的三次进化与终局之战

同时,强制要求散落各处的决策记录(Slack、邮件、文档)全部迁移至代码仓库,确保 Agent 的唯一信息来源是可信的、版本受控的仓库。更坑爹的是,研究表明,当上下文过长时,模型会出现"中间遗忘(Lost in the Middle)"现象:它对开头和结尾的内容记忆较好,对中间大段内容的关注度大幅下降。这篇文章,我想带你完整走一遍这三次进化的逻辑:它们分别解决了什么问题,它们之间是什么关系,它们的边界在哪里,以及:当三者融合,AI 工程师的终极形态究竟是什么?大语言模型的本质,就是这位金鱼助理。

QcloudCommunity的博客 719

让Skill自己训练自己:8阶段Loop、3层评测、5维AND门控,从此实现自进化

所以每一轮改动都是有据可查的,不是「感觉这里可以优化」,而是「Case 41 挂了,因为 agent 把离职问题路由到了邮箱分类,但正确答案在通讯录,所以我改 root_index.md 加个易混淆提示」。但让我最后决定把它记录下来的,不是这的个「吸收」过程,而是它真的在替我探索我不想费脑力触达的边界,这看起来更像是一个机器智能应该有的样子。不准跨层,每轮只改一层的东西。但我经过这 19 轮之后觉得,更准确的描述是互补——你在明处看着,AI 在暗处替你试错,你看不见的那一半就是 AI 能贡献的地方。

QcloudCommunity的博客 1128

只加两行代码,为什么要两天?一文深度理解业务系统的复杂性

关注腾讯云开发者,一手技术干货提前解锁👇业务系统复杂性一直是令开发者头痛的问题。复杂的不是增加一个需求需要耗费多少时间,而是在增加一个需求后带来的蝴蝶效应:其它功能会不会受到影响、要如何去找到这些影响,最终如何实现系统正常运行......功能之间隐秘增加的耦合、不可避免的代码腐化在导致业务复杂性增加。大家都在说的软件开发提效到底在提什么?程序员日常工作中应该如何提升开发效率?敏捷开发、瀑布流式开发孰是孰非?欢迎阅读。业务背景与目标我依然非常清晰地记得某个时候,我所在团队 Leader 曾讲过一段话:“我担

QcloudCommunity的博客 713

从零设计生产级 Multi-Agent Harness:架构、评估、记忆、成本与 MCP 工具接入全拆解

在 AI Agent 领域,Multi-Agent Harness 指的是把多个 Agent 的能力、工具、状态、通信、编排、监控统一收束在一个运行时之内的框架。第三,Agent 路由。一个输入框,一个大模型,几个工具,一段写得很漂亮的 System Prompt,再配上一个炫酷的前端,看起来就像一个能干活的“数字员工”。Multi-Agent 完全不一样——它有计划、有中间步骤、有工具调用、有 Agent 协作、有重试、有反思、有最终合成。增加 Budget、权限、重试、压缩、轨迹评估、审计、回归测试。

QcloudCommunity的博客 710

拆完Hermes源码,我发现Agent的“自我进化“根本不需要训练模型

两个月 5.2 万 Star,Hermes Agent 用一个"LLM 审判官"机制实现了 Agent 的自我进化——不改模型权重,只改"怎么用模型"的策略。OpenClaw(社区昵称"龙虾"🦞)是 2025-2026 年最火的开源 Agent 框架,30 万+ Star,插件市场 ClawHub 里有数千个插件,能接入 Telegram、WhatsApp、Slack、飞书、企业微信——几乎是一个"个人 AI 操作系统"。Skill 是英语写的,Memory 是英语写的,审查 Prompt 也是英语写的。

QcloudCommunity的博客 911

AI Infra 其实没有多少新东西

传统 Infra 追求横向扩展,而 AI Infra 呈现 “AI 大型机”特性,是因为传统后台服务的可以容忍毫秒级延迟,但 AI 集群不行,GPU 的算力是 CPU 的数百倍,微秒级的延时等待也会造成很大的算力损耗,需要硬件的高度集成。在可预见的1-3年的未来,这样的专用硬件+网络的集中式架构很难发生比较大的改变。与之相似,模型推理的批处理就是将多个输入样本打包(batch),将原本串行的 N 次轻量的推理计算,合并为 1 次重量的计算,实现单位时间内处理更多的请求,提高了 GPU 利用率。

QcloudCommunity的博客 826

程序员越早想通这些越好

永远没有正确架构,你永远无法偿还完所有的技术债务,如同你永远不会设计出完美的界面,请避开完美主义的陷阱,永远没有完美的代码,能够满足当前需求,又为未来不管是自己还是他人留有扩展空间,就很好了。我们努力的方向就是将现实世界映射到有限的数据结构中,这就需要用户自定义类型,如果你的代码中包含类似 trader portfolio 这样的概念,你就可以使用他们的名称来建模,而不是使用基本数据类型复杂嵌套表述你的目的。从另一个角度看,代码里的注释都是补丁,是碎片化的,局部的注释很难推导模块整体的顺序及耦合关系。

QcloudCommunity的博客 466

RAG已死?不,是Grep回归了!

这样一来可以直接复用已有的计算缓存,只为新增的增量部分付全价,前面累积的大头按约 1/10 的缓存价计费。所以实际的工具组合方式是灵活的:Grep(默认模式)→ Read 是最常见的路径,但 Grep(content 模式)可以独立使用,LLM 也可以直接调 Read(如果已经知道文件路径),或者一次同时发起多个 Grep 并行搜索。它从零开始构建自己的对话历史,不继承主对话的消息,这意味着它搜索过程中产生的大量 grep 结果、代码片段都留在自己的 context 里,主对话只收到一段总结性的文本结论。

QcloudCommunity的博客 576

深入浅出Harness Engineerring之核心模式与理念

在智能体生命周期的关键节点(如会话开始、工具调用后)自动触发预设动作(如代码格式化),由系统确保关键流程被执行,不依赖可能被模型遗忘的指令。简单讲就是利用向量存储这个技术,来实现模糊检索,原理是:即使字面不同,但语义相近的文本,其向量在数学空间中的位置也很接近。根据命令类型、参数和影响,自动评估其风险等级(安全、有风险、危险),并采取自动执行、请求确认或直接拦截等不同策略。关键特性是可隔离、可重建、可扩展。不是一次判断就定终身,允许你改变、允许情况复杂,通过不断观察、思考、调整,越来越懂真实的你。

QcloudCommunity的博客 625

Harness Engineering实践心得:如何高效驾驭AI?

但如果这些经验被拆成一条条 Rule、一个个 Skill、一项项 Script 检查——"XAML 不能有中文"、"编译要用这个路径的 MSBuild"、"SVN 命令必须带认证参数"——AI 就能在秒级时间里"吸收"十年的踩坑经验。然后可以看到下方的图,我的PM会很顺利的调度其他agent分别负责不同的事项,遇到问题的时候也能准确的找到合适的agent。MCP 本质上是在扩展 AI 的"感知范围"——Rule 管"该怎么做",Skill 管"怎么操作",MCP 管"能看到什么、能碰到什么"。

QcloudCommunity的博客 843

从第一性原理思考 Agentic Engineering

需要注意的是,这一结论是有条件的:如果 AI 缺乏领域知识,过早介入反而可能引入 1.2 节所述的"似是而非"损耗——因此上下文供给(实践 1)是 AI 全链条参与的前提,而非结果。通过一个专门的自迭代 Skill 实现——当 AI 在协作过程中识别到自己被纠正(用户否定了 AI 的输出并给出了正确方向),它自动评估这个错误的根因,搜索现有的 Rules 和 Skills 中是否已有针对该类问题的处理规则。事实上,越是复杂的项目,工程师的认知负担越重(公理 3),AI 分担认知负担的潜在边际价值也越大。

QcloudCommunity的博客 757

万字干货!Harness Engineering如何工程化落地?

关注腾讯云开发者,一手技术干货提前解锁👇Harness Engineering 的概念已经火了有一阵了,全网很多文章基本都是在讲理念,讲为什么今天做 AI 开发,不能只靠一段提示词,也不能把模型当一个“更聪明的代码补全”。但与此同时,一个问题也在持续地发酵:这个问题特别重要。因为 Harness 这个词听上去很大,很像一个抽象的方法论,但它如果不能落到工程、目录、文档、脚本、工作流里,那它最后就只是一句漂亮的话。事实上,不同项目落地出来的 Harness,表面上可能完全不一样。有的项目是 CI 很强,有的

QcloudCommunity的博客 1171

全方位对比:Hermes VS OpenClaw

多账号矩阵运营 如果你的业务涉及同时管理多个社交媒体账号、多个平台的内容分发、多渠道的客户互动——OpenClaw是目前市场上的"无可替代的底座"。一个有专业背景的个人,现在可以快速构建一个垂直领域的AI助手:比如"财务分析Hermes"、"法律咨询Hermes"、"技术架构Hermes",直接通过微信提供服务,积累自己的专业IP。跨平台生态融合 如果你的工作流涉及飞书、Slack、Discord等多个平台的深度集成,需要这些平台之间的数据流转和联动——OpenClaw的生态支持是强大的。

QcloudCommunity的博客 1218

一文讲透:Harness Engineering即控制论!

而研发模式的升级我认为将会是一个飞跃的过程,之所以现在我们仍然需要需要参与编码,一个非常大的原因就是缺乏传感器和基建,仍然需要人来串流程,比如需要人来验证UI是否正确、需要人来告诉AI代码不符合代码规范,因此在有些场景我们仍然感觉 AI 完成的很吃力,但这不是 AI 能力不行,而是我们并没有为 AI 提供友好的环境……控制论中的突变理论介绍了矫枉过正和飞跃现象之间的矛盾,如果质变中经历的中间过渡态是不稳定的,那么他就是一个飞跃的过程,如果中间过渡态是稳定的,那么他就是一个渐变的过程。但是这些阶段要解决的。

QcloudCommunity的博客 1204

神级开源插件!一句话让QClaw变3D小镇,Agent工作可视化,赛博云监工

这个架构是翻了几次车才想通的—原有AI的实现机制是用 setTimeout 猜动画时长导致了幽灵 NPC、工位撞车、越改越崩,后面我停下来换了思路,推翻原有的架构,按照“意图+回传”的架构进行重构,之前的问题一次性全部解决。15 天,我和 AI 吵了 185 次架, 4.5 万行代码,开发了一款 QClaw / OpenClaw 的UGC游戏插件,这可能是人类跟 Agents 交互的新范式,插件已完全开源,有需要的欢迎自取~我天天用,用着用着我就在思考,Agent 产品现在的交互体验,基本都一个样。

QcloudCommunity的博客 1197

一文搞懂Hermes:新顶流Agent如何从经验中自我进化

Voyager 是一个能在 Minecraft 中自主探索、学习技能、无限积累能力的 AI Agent,它提出了 "Skill Library"(技能库)的概念——Agent 将成功的行为序列编码为可复用的技能函数,存储在一个持续增长的代码库中。如果 Skill 的名称和描述不够精准,或者用户的任务描述与 Skill 的触发条件有语义差距,Agent 可能会错过相关的 Skill。如果进程在写入过程中崩溃,目标文件要么是旧内容(还没被替换),要么是新内容(替换已完成),绝不会出现写了一半的损坏文件。

QcloudCommunity的博客 2637

自掏腰包一万元,拥抱AI这一年,我的工具、实践和思考

其实也很好理解,过往的每个领域(比如前端、后端、设计、测试等等)都主要是这个领域的从业者在为它添砖加瓦,但是大模型时代的 AI 应用领域却几乎是所有使用 AI 的人类一起在迭代,无分领域,无分文理,无分老少。因为每个时期的 AI 都有着不同的特点,很多时候当我费尽心思去钻研,自以为有点弄明白 AI 应该怎么玩的时候,基座模型和行业范式常常就会迎来颠覆式的变革,很多过往的经验都会倾覆,然后只能从头再来。过去一年多,被热议的 AI 范式大概是沿着四个阶段递进演化,每一个阶段其实都在解决前一个阶段的核心问题。

QcloudCommunity的博客 627

办公Agent的CI/CD时刻到来了

核心观点是:企业给员工配了一堆 AI 工具,试点跑了几百个,但真正拖慢 AI 转型速度的瓶颈不在模型能力,在"最后一公里":AI 输出和实际工作流之间的那道鸿沟。代码写完,打个 tar 包,开 FTP 传到服务器上,SSH 进去解压,改配置文件,重启服务,刷一下页面祈祷别 500。你复制,切窗口,粘贴到腾讯文档里,发现 Markdown 格式全乱了,手动调标题层级,代码块重新标记语言类型,表格散架了重排一遍。模型是越来越聪明了,但"生成"到"落地"之间那段路,还是你自己在走,一步一步,手动搬运。

QcloudCommunity的博客 608

4亿token买来5个教训:让6个AI Agent连写4天代码发生了什么?

Watchdog 检测到崩溃 → 启动诊断 Agent 分析原因 → 诊断 Agent 跑满 20 轮没搞定 → Watchdog 判定“已修复”,重启系统 → 重启的系统因为诊断 Agent 留下的环境变量被继承,连续 3 次拒绝启动 → 触发连续失败保护退出 → Watchdog 第 3 次巡检,发现进程和记录文件都没了,尝试手动重启,自己也停了。启动前我翻了论文、做了架构设计、写了监控+修复异常的脚本。这个发现让我的情绪从沮丧变成了兴奋——不是那种"终于修好了"的释然,是"我找到根因了"的快感。

QcloudCommunity的博客 584

赛博斗蛐蛐:9大模型决战三国志,天命在谁?

我猜是这样的,当Gemini面临决策的时候,一系列关键词比如 守城,劣势,粮草,三国等等,在语义层面的关联性中LLM发现了竖壁清野这个关键词概率非常高,所以以此为策略,然后再根据这个策略完美执行操作。MiMo 的外交是三方中最精明的。Kimi作为国产模型,也同样颠覆了我对他的看法,最后的比赛他甚至一度是优势者,存在很多夺冠的可能性,要知道他的对手可是claude和gemini,而他经常出兵慢,回过头来想想或许正是他的策略,毕竟中后期他的优势都来自于稳健的发展和较少的战斗频率(和claude比).

QcloudCommunity的博客 875

Claude Code是怎么知道你在骂他的?这 12 条发现值得关注

确实存在——5,500+ 行,集成了消息队列、工具装配、MCP 编排、会话状态、权限、分析、文件持久化和优雅关闭,基本上一个文件干了所有事。对抗虚假声明——"不要在输出显示失败时声称所有测试通过,不要压缩或简化失败的检查来制造绿色结果"。完整的 KAIROS 是一个持续驻留的守护进程,能感知你在不在电脑前、主动寻找有用的工作做,更像是住在终端里的全职同事。源码里藏着一个叫 "Buddy" 的电子宠物系统,完整度令人惊讶——这不是一个 TODO,而是一个从数值系统到 ASCII 动画都实现了的完整功能。

QcloudCommunity的博客 702

逆向深扒Claude Code源码,我发现了什么!?

Anthropic 内部用户获得更严格的质量控制 prompt、更好的验证机制(独立 Verification Agent)、以及针对 model 弱点的专门对策(如 Capybara v8 的 29-30% 错误声明率对策)。这不是代码混乱的标志——它是整个 Agent Loop 的心脏,所有的流式处理、工具调度、上下文压缩、子代理管理都在这个文件中协调。这种"胖核心"设计是刻意的:保持核心循环的原子性,避免分散到多个模块导致的协调复杂度。核心价值:Fork 代理的工具输出不会回到主代理的上下文窗口。

QcloudCommunity的博客 893

一文讲透如何构建Harness——六大组件全解析

本文将从"裸模型的四个硬伤"出发,逐一拆解 Harness 的六大组件——文件系统、Bash + 沙箱、记忆(AGENTS.md)、Web Search + MCP、上下文工程、编排 + Hooks——带你看清 AI Agent 真正的竞争壁垒,不在模型层,而在 Harness 层。如果你用过 Agent 做复杂任务,你一定有过这样的体验:一开始 Agent 的表现很好,但随着对话变长,它开始"变笨"——遗忘之前的约定,重复之前犯过的错误,甚至对同一个问题给出前后矛盾的回答。对于简单的问答场景,这无所谓。

QcloudCommunity的博客 761

Harness Engineering 来了,SDD 还有意义吗?

他们的解法是把「品味」编码进规则,然后用一个定期运行的「doc-gardening」Agent 自动扫描漂移、发起修复 PR——「技术债务就像一笔高息贷款,不断地以小额贷款的方式偿还,总比让债务不断累积要好」。代码仓库本地的、已版本化的工件,才是 Agent 所能看到的全部。在 Vibe Coding 模式下(即不做规划、随意向 AI 提需求的开发方式),大量设计决策、跨服务约定、「为什么不选另一个方案」的讨论,全部停留在一次性的 AI 对话里——下一个人,或者下一次 AI 会话,完全无从获取。

QcloudCommunity的博客 419

零废话!一文讲透从0构建AI Agent

每个工具都要写一套"定义→解析→执行"的胶水代码。上下文管理就是在"记住足够多"和"别超标"之间找平衡,常见策略包括滑动窗口、摘要压缩、RAG 检索增强。上下文窗口是 Agent 的"工作记忆",但它有硬性限制。LLM 负责"动脑"决策,代码负责"动手"执行。这是从"聊天机器人"进化到"Agent"的关键一步。每次调 API 都把完整对话历史发过去,LLM 本身是无状态的,"记忆"完全靠客户端的数组模拟。这样 Agent 一开始就知道自己"在哪里"、"手头有什么",不需要先花一轮工具调用去探索环境。

QcloudCommunity的博客 711

距离AI把小编我裁掉还有72小时

这是一个基于 OpenClaw 开源生态打造的本地化 AI Agent 助手,已于上周开启全量公测,无需复杂配置,三步即可上手,自带安全防护,支持微信直连绑定,内置多款优质国产大模型,现阶段也是完全免费使用,基本上前面提到过的痛点都可以靠它解决。对了,这里特别强调一点,上面的截图让产品同事汗流浃背,再三找我确认 QClaw 思考过程中优美的“草”字说法,不会是默认出现的吧?AI 好,AI 得学,但更重要的是,在你的工作和生活里,哪些东西是能结构化地被 AI 所接入的,不要死守着那些脏活累活不放。

QcloudCommunity的博客 674
上一篇: AI、脑机接口、大数据,腾讯云携手行业领袖共探新一代数字化转型
下一篇: 一文搞懂七种基本的GC垃圾回收算法
腾讯云开发者
腾讯云开发者 企业官方账号 企业官方账号
博客等级 码龄10年 6291粉丝 1962原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值