海量挑战:腾讯云ES可用性及性能优化实践

导语 | 腾讯云Elasticsearch在腾讯会议中有哪些应用?在大规模海量应用场景下,腾讯云Elasticsearch在高可用和性能方面做了哪些优化?在低成本解决方案中又有哪些独到之处?本文是对腾讯云专家工程师张彬老师在云+社区沙龙online的分享整理,希望与大家一同交流。

点击视频查看完整直播回放

一、腾讯云ES在腾讯会议中的应用 

1. 腾讯会议质量分析系统

腾讯会议于2019年12月底上线,两个月内日活突破1000万,被广泛应用于疫情防控会议、远程办公、师生远程授课等场景,为疫情期间的复工复产提供了重要的远程沟通工具。极速增长的会议需求,让腾讯会议服务质量分析系统经受着巨大的考验。

在会议中偶然会存在会议实时音视频卡顿、音视频不同步等会议质量问题,造成上述问题的可能因素比较多,当前运行的网络有丢包或连接不稳定的情况就是其中一种。

为了帮助会议质量团队快速精准地定位分析问题,需要大量运行时的会议质量数据支撑,如网络相关的入网类型、码率、丢包率、网络切换、ip切换等数据,以及客户端相关的CPU使用率、内存使用率、操作系统版本、产品版本等数据信息。

                                

除了数据的实时上报,另一方面,借助多维分析,我们还可以在实时数据中挖掘出异常情况。如某个地区大面积的卡顿,某个版本出现特定的问题等。通过dashboard或数据报表的形式,帮助会议质量团队及时掌控全局情况,快速发现潜在问题。

2. 痛点挑战

随着疫情爆发,腾讯会议快速增长,在100天内迭代了20多个版本,在8天内主机数扩容到了 10w 台,这样的急剧增长量让腾讯会议服务质量分析系统经受高压力,给运营团队及时排查用户问题带来了巨大的挑战。

深究根本原因,是因为服务质量分析系统在如此高压力、高吞吐的场景下,写入性能严重不足导致。腾讯会议和质量分析系统研发团队也一起对问题做了梳理。主要表现在以下四个方面:

                       

下图展示了整个系统的架构图,红线上面部分是原先使用的质量分析系统。腾讯会议的质量数据,由上报接口机采集后到我们自研的接入服务,做数据清洗或转换的ETL过程,最后把数据写入到自研的 lucene 数据存储引擎里,提供数据查询和分析能力。

           系统架构图

 

(1)可用性

原来的系统可能会遇到很多问题,首先在可用性方面,原来自研的 lucene 引擎是用 Java 写的,内存使用过多就会 OOM ,导致节点挂掉,进而造成集群的雪崩。这样 SLA 就难以保障,达不到 4 个 9 的要求,质量团队经常面临系统崩溃之后用户问题得不到及时跟进和解决的困扰。

 

(2)性能

第二个问题在于性能。疫情爆发之后,峰值系统写入量接近 300w/s,这个量是非常大的。由此造成了系统数据同步延迟比较高,大量数据堆积在里面长时间得不到消费。比如我们在前端查询用户的一些实时质量问题的时候,发现时延经常在半小时以上,这肯定无法达到我们的质量要求。

 

(3)拓展性

在出现如上问题的时候,大家通常做法可能就是去扩容。由于系统最关键的部分,是一个基于lucene自研的搜索引擎,扩容能力比较差,依赖于研发团队针对业务的优化。在数据量暴涨的背景下,不能进行快速扩容以满足需求。

(4)易用性

另外,在新系统选型切换的过程中,我们也要考虑易用性。用户数暴增,留给系统验证切换的时间非常短,这要求我们必须使用一种简单快速的解决方案。需要在一周之内输出适用方案,并进行线上数据的切换。

由于时间紧迫,新的方案需要尽量保留原有架构的大部分基础设施,并做尽量少的代码开发改动。 

经过讨论,最终决定把原来这套架构切换成 Elasticsearch 比较经典的 ELK 架构。通过logstash的易用性和强大的生态插件,可以快速替代原有的自研数据接入组件,进行数据的清洗转换等ETL过程。如原有架构中使用的kafka,在logstash中就已经包含了相应的input插件。并且有大量数据格式的解析插件支持,对于数据的一些解析、过滤、清洗等操作可以直接在logstash的pipeline中进行简单的配置即可,基本上是0开发量。

丰富的各语言SDK,方便快速的对服务质量分析平台前后台进行快速切换,实际从代码修改到上线完成只用了一天的时间。


二、 高可用及性能方向的优化

1. 高并发请求

腾讯会议服务质量分析系统,从2月份进行ES架构的方案切换开始,写入吞吐从5w/s不断攀升,现已达到100w+/s。

业务的突发增长有时候来的很突然,并不能在前期做有效的评估。社区中的很多用户也遇到过类似的问题,由于没有预估到业务突发的增长,并且在业务层没有做好服务降级等机制,导致突发的写入查询流量打崩了整个集群。

                       

例如早期我们内部一个日志集群,写入量一天突增 5 倍,集群多个节点 Old GC 卡住脱离集群,集群 RED,写入停止,给我们带来了不小的麻烦。

我们对挂掉的节点做了内存分析,发现大部分内存是被反序列化前后的写入请求占用。我们对

挂掉集群的内存镜像做了一些梳理,发现大量的写入请求其实都是用在反序列化这里,耗内存比较多。

           

上图展示了ES high level 的写入流程,用户的写入请求先到达其中一个数据节点,我们称之为数据节点。然后由该协调节点将请求转发给主分片所在节点进行写入,主分片写入完毕再由主分片转发给从分片写入,最后返回给客户端写入结果。

右边是更细节的写入流程,而我们从堆栈中看到的写入请求堆积的位置就是在红色框中的接入层,节点挂掉的根因是协调节点的接入层内存被打爆。

           

针对这种高并发场景,我们的优化方案是服务限流。除了要能控制并发请求数量,还要能精准地控制内存资源,因为内存资源不足是主要的矛盾。另外通用性要强,能作用于各个层级实现全链限流。

在很多数据库使用场景,会采用从业务端或者独立的 proxy 层配置相关的业务规则的限流方案,通过资源预估等方式进行限流。这种方式适应能力弱,运维成本高,而且业务端很难准确预估资源消耗。

ES 原生版本本身有限流策略,是基于请求数的漏桶策略,通过队列加线程池的方式实现。线程池大小决定了处理并发度,处理不完放到队列,队列放不下则拒绝请求。但是单纯地基于请求数的限流不能控制资源使用量,而且只作用于分片级子请求的传输层,对于我们前面分析的接入层无法起到有效的保护作用。原生版本也有内存熔断策略,但是在协调节点接入层并没有做限制。

我们的优化方案是基于内存资源的漏桶策略。我们将节点 JVM 内存作为漏桶的资源,当内存资源足够的时候,请求可以正常处理;当内存使用量到达一定阈值的时候分区间阶梯式平滑限流。例如上图中浅黄色的区间限制写入,深黄色的区间限制查询,底部红色部分作为预留 buffer,预留给处理中的请求、merge 等操作,以保证节点内存的安全性。

2. 大聚合查询

           

对于大聚合的场景,因为系统收拢进来的数据也是有价值的,我们也会经常在上面做一些分析和查询,比如做腾讯会议在全世界各个地区会议质量情况的展示等。在这样聚合的过程当中,有的指标它的分桶数量是比较多的,可能出现上万甚至十万、百万级别。

结合整个查询流程会发现,在协调节点内会把数据节点汇聚到的分析数据再做一次二次汇聚,对分桶分析过滤,包括做一些排序等,在分桶数量比较多的情况下,协调节点的内存使用压力是比较大的,当一个比较大的查询过来时,这个节点可能就会挂掉。

                        

原生 ES 对查询方面的限制也是比较死的,限制最大返回结果桶数,默认是一万,如果超过这个限制则直接拒绝。但分析场景结果桶数十万、百万是常态,默认1万是不够的。另外这个值也是很难精确设置的,调整不灵活,大了内存会崩掉,小了满足不了业务需求,所以我们也要对它进行优化。

第一阶段我们根据当前 JVM 的内存使用情况做查询的预估,通过内存膨胀系数预估在反序列过程当中所要消耗的内存数量,一旦超过阈值则直接熔断。

第二阶段,reduce 过程中流式检查桶数,每增加固定数量的桶就检查一次内存,如果发现超限则直接熔断。比如总量一万桶,每新增 1024 个桶就需要再检查一次内存,如果超过限制,就直接把这个比较大的聚合查询杀掉。

虽然杀掉当前这个大查询可能会牺牲一定的用户体验,但却能保证整个集群的稳定性。我们的这项优化也已经提交给ES官方社区,并且已经在 7.7.0 这个版本发布了。

3. 多可用区部署

                       

在更基础的场景下,比如我们的机器、集群,甚至整个机房挂掉,这种情况下的可用性光靠优化是难以彻底解决的。所以为了达到某些客户,比如电商或者金融客户对关键业务的可用性要求,腾讯云 ES 提供了集群的多可用区部署方案。

一个集群可以选择在两个或三个可用区上部署,这样的话每个节点都能被标记可用性属性,当我们开启分片分配可用区的感知之后,一个索引多个分片的副本可以平均分配到各可用区,这样就能保证一个可用区挂掉以后不影响整个集群的数据完整性,可以稳定给业务提供写入读取的能力。并且切换是透明的,业务方面无感知。

4. 合并策略

                        

在性能方面的优化,首先在数据合并方面。ES 的底层 Lucene 基于 LSM Tree 的数据文件。合并策略业内有几种典型方案,比如按时间序进行合并,比如把当前一小时内的数据进行合并,典型产品有 Cassandra 、HBase 等。但是它只适合时序场景,而且因为每个小时数据写入量不太一样,导致文件合并的大小不太一致,会影响合并的效率。

另外一些产品如 LevenIDB、RocksDB 选择的是分层合并,优点是查询高效,但是写放大较严重,影响 TPS 。

 

所以我们在原生方案基础上,同时调研了大量开源社区的方案做了新的优化。因为文件之间按创建时间来看是有序的,这里可以取个巧,并不需要真的关注文件的创建时间,而只需要关注这个文件的时间序就行。

在 L0 层我们会通过文件的创建时间对文件进行排序。在分层合并的时候,再按目标文件大小进行合并,比如在 L1 层设置文件大小是 20M,每攒 20 个小文件就做一次合并,这样既保证了数据的连续性,又将文件数量得到了收敛,最终提升了写入场景查询性能。

 

我们根据目标文件大小这个维度进行合并,可能会漏掉一些比较小的文件。不过没关系,因为我们后面还做了一个冷分片的持续合并,有一些小的分片因为长期没有写入,始终达不到合并目标的要求,这时会有一个冷分片的持续合并策略,发现有一些小的分片超过五分钟没有被更新,就会强制触发它向上合并。

5. 大吞吐写入

                      

第二个性能方面的优化是在大吞吐写入方面,以腾讯某金融业务的人群画像分析系统为例,这个系统每天晚上执行一次全链导入任务,在白天只有小批量的更新。对于一些体量比较大的客户,每天晚上全量导入数据量是非常大的,甚至高达十几亿,并且需要在夜间那几个小时导入完成,因为第二天就会对这些数据进行量化分析了。

在使用过程中,业务部门经常会发现写入性能不高,且CPU使用率不稳定的问题,资源利用率严重不足。

腾讯云ES内核团队对类似的高压力写入场景进行了追踪及分析,并在同样的场景下进行了多个方案的压力测试,发现ES单节点的压力写入测试与lucene基准的写压力测试有较大的差距:如果这个数据不通过 ES 而是直接通过 Lucene 写入,性能会提升一倍。

所以我们就对腾讯云 ES 的各种写入流程做了一个分析,发现 Lucene 写入就是单纯地写入数据,但 ES 是一个分布式的系统,为了防止内存里面的数据没有及时刷盘,我们会写一个translog,对应数据库里面的binlog机制。

 

因为不可能在一个文件上面一直持续写,就需要对大量的文件做管理,因为很多已经刷盘的数据是不需要保留的,所以会有一些轮转的机制。我们会不断地去生成新的文件,然后不断地淘汰小的文件。

在这里面就出现了一个问题:因为 ES 一个节点的写入是并发的,可能有很多写入的限制都在持续地对同一个数据文件做写入,但是当前文件只允许一个线程进入临界区,所以这个锁的同步效率是非常低的,因为不管有多少个写入限制,一旦到了切换的时候这个锁会把所有的写入限制都锁住。

所以这里我们也做了两套优化的方案。第一种方案,我们首先想到了把 rollGeneration 做成异步的,两个流程互相不影响,但是改造量是比较大的。通过社区讨论,我们最终确立了一个非常精简的方案,就是每次rollGeneration前做一次刷盘,后面每次写入的时候不需要都去做这个锁的同步。这个方案对流程的改造最轻量优雅,且优化后的写入性能提高了20%以上。

这部分优化的代码经腾讯内部的业务验证后,最终整理提交回馈给了社区。由于这个优化在ES写入的所有场景下均适用,且对性能的提升非常显著,Elastic的创始人对该PR高度赞扬,并给腾讯云总裁发来了公开感谢信。

腾讯云ES在社区开源的内核之上,根据云上的内外部业务的场景案例积累,做了大量的内核优化。除了上面介绍的translog的优化,还有带“_id”的写入操作剪枝优化、查询计划优化等等,满足了客户在性能方面的需要,并积极将一些通用的优化提交至社区,截至目前为止,腾讯云提交的pr约有50+被合并到了主干。

三、低成本解决方案上的优化

1. 存储成本优化

       

腾讯云自身的监控系统也是基于 ES 来做的,特别对于一些大的地域的集群,它的写入速度甚至达到了千万级每秒。面对这样的吞吐量,并且数据量至少要保留半年时间的可空查询,预估整个集群大概需要能承载 14PB 的数据,按照我们内部用的物理机磁盘的规格,需要 1500 台物理机,远远超出成本预算。

 

我们对监控系统的业务日志做了分析,发现这类数据都是有时序性的,随着时间的推移它的访问频率越来越低。

(1)冷热分离

所以我们首先给用户推出的解决方案就是冷热分离,在一个集群里我们会给用户提供两种不同属性的机型,用户新写入的数据,或者近期频繁访问的数据可以写入到高配置、高 IO 的机型,比如 64 核甚至更高核数,带云盘或者本地盘的机型,可以保证一天之内或者几个小时之内这种热数据的写入性能。

 

对于一天以后甚至一周以后才访问的冷数据,可以写入到低配置的机型,比如 12 核甚至 4 核的机型以降低成本。

                     

(2)生命周期管理

原生 ES 提供了生命周期管理功能,把数据分为 3 个阶段:Hot phrase 、Warm phrase 、Cold phrase ,在每个阶段都可以对数据做管理,比如热阶段可以按天、小时或者我们自己设置的大小来分索引。

大多数查询或者分析都是按小时、天,而在 Warm 阶段我们可以按秒级采集数据,通过降低数据的精度,极大减少数据的总量,并且提升数据查询的效率。

在冷阶段很多数据可能是作为备份,几乎很少被查询,我们可以关闭一些索引,或者做一些数据的备份,甚至如果数据没有必要还可以删掉。

                        

(3)多盘策略

在存储方面,现在包括腾讯云在内的很多云厂商为用户提供的主要还是 CBS 云盘,但是 CBS 云盘在单盘 IO 能力上有限制,最大不超过 260M/S,所以我们为客户提供了多盘策略。

原来一个节点只能带一块硬盘,现在一个节点可以挂多块盘,这样的话一方面能突破 CBS IO能力限制,原来单盘的 260MB/S ,通过挂 4~5 块盘将能力扩充数倍。另外单节点的 IO 提升之后我们就不需要那么多的节点,能够节约大量成本。

                        

(4)COS冷备

ES 的索引数据每个上面其实分了很多的小文件,所以我们做了一个 COS 上传下载的插件,可以在控制台自动触发或者在 ILM 配置触发,把这些底层数据文件直接备份到成本非常低的 COS 上。如果真的某一天系统数据出现了问题,也可以很方便恢复过来。

                        

以上就是我们在存储成本上的优化,腾讯云监控的集群优化之后只需要两三百台机器就可以扛住原来 1500 台机器做的事情,极大降低了我们的成本。

2. 计算成本优化

 

其次是计算成本上的优化,主要是在内存使用率方面。其实我们磁盘使用率并不高,只有30%~40% ,但是我们的堆内存使用率长期处于 70%-80% ,甚至有时候达到90% 这一比较危险的状态。

原因主要在于索引里面的 FST 占用了大量内存,基本维持在 50%-70% ,而且需要常驻内存不能释放。计算发现,大概每 10TP 的磁盘就需要 10G-15G 来存 FST 缓存。

ES 社区对于这个问题也有一些优化方案,比如因为 FST 对内存占用比较多,类似很多这种大数据的组件就把它移到堆外,这里的优化方案其实很简单,就是通过系统 MMmap 的方式,通过 linux 操作系统数据页的淘汰,如果长时间没有访问就淘汰出去。

这种方案优点是实现简单,但是这种淘汰策略比较粗糙,对于一些海量数据场景,可能一个查询过来,原来那些在 Cache 里面的数据就被淘汰掉了,又要重新换一批,而实际上淘汰的那批数据可能是经常要使用的。

                        

所以,我们也对原生方案做了一些优化,做了两层的 Cache ,借助堆外内存,释放堆内存。在GC之前不会过快的释放,在堆外我们也不推荐通过操作系统方式进行管理,因为毕竟控制的粒度比较粗,我们会通过一些 LRU 或者 LFU 的策略,加上通过 Cache 的访问频次进行一些淘汰。


四、 未来展望

未来在可用性方面,我们会加强智能诊断的功能,因为 ES 在很多方面都需要用户来操心。比如索引设置不太好,可能会导致并发性能不高等等。对于 ES 使用不是特别熟的用户可能会有这样的苦恼,感觉集群经常莫名其妙会出现一些问题,当然也可能是自己使用上没有注意。

通过智能诊断功能,它能持续不断帮助用户去做使用方面的监控,比如索引方面分配的策略等,给客户做一些预先的提醒和预警,在业务受到影响之前,把这个问题扼杀在萌芽之中。

 

另外我们也会提供节点自愈的能力。在性能方面我们会着重于扩展多维分析的能力,因为现在多维分析的场景在 ES 里应用也比较多,包括前文提到的腾讯会议质量数据的这种多维分析,腾讯云一些金融业务的画像分析等等。

 

成本方面,基于前文提到的备份策略,我们原来备份到 COS 上面的数据其实就是一份冷数据,写入不了也查询不了,万一哪天我们真的有这样的查询需求,还需要把它重新恢复到集群上面,比较麻烦。

所以我们后面会和社区一起完善推出一种可搜索的备份,我们可以容忍这种搜索的延时,比如一分钟甚至五分钟才把结果返回,但是数据仍是可以放到 COS 上,从而节省大量的成本开支。

我们会比较快推出存储资源分配的功能,相当于节点是可以无限扩充,这样对于某一些经常做活动的用户,活动期间流量非常大,需要瞬间扩容节点来扛住这样比较大的查询请求。当做完活动之后很多节点没有用了,可以把它缩掉,但是数据仍然保留,所以这种存储计算分离的成本优化对于这一类用户是非常需要的。

 

另外我们会完善数据集成的通道,会支持很多导入导出、数据迁徙的插件,我们计划在 Q3 把它引入到腾讯云,作为一个子产品提供给用户这个功能。在 2020 年 Q4 我们也会结合腾讯云数据库 DBS、 Kafka 组件做这种数据通道,让用户通过控制台的简单配置就可以把数据接入进来。其实 ES 和大数据的组件是可以做一些天然融合的,后面我们也会更多的在大数据平台上做一些融合化的研究和演进。

           

Q&A

 

Q:1000 w/s 的索引有几个节点?

A:上文提到的腾讯云监控系统,会有千万级每秒的高压力写入场景。经过优化了之后,只需要两三百个节点左右就能扛住压力。

 

Q:ILM 可以针对索引么?

A:ILM 是索引生命周期管理,其实就是针对索引的。前文提到成本优化的时候,我们发现数据有时间上冷热的属性,在数据热阶段我们可以通过 ILM 做索引的切分管理,比如一天切一个索引,或者按数据量 1G 切一个索引等等,其它如温场景、冷场景也可以针对索引维度做逐级的数据压缩、删除、备份等操作。

 

Q:COS 冷备份能再详细展开吗?

A:关于这一块,我推荐大家去阅读腾讯云 ES 官网上的文档,上面有比较详细的解释,包括 API 在 ES 里面的 COS 冷备,API 怎么使用,仓库怎么建立等等。会有 ES 相关文档给出比较详细的介绍,大家可以通过我们提供的免费集群实际操作一下。它的成本是比较低的,效率也比较高,使用起来也方便,大概两三条 API 就可以搞定。另外前文提到的 ILM 功能也支持 COS 冷备,直接可以在 ILM 上进行设置。

 

Q:一个 ES 集群最大节点数能到多少,会有瓶颈么?

A:目前不推荐用户超过一千个节点。在一个集群中存在过多的节点,因每个节点都会需要和其他节点进行通信及保持心跳,节点规模持续的扩大会造成很多问题,建议利用业务做拆分

 

Q:第三方 ES 如何迁移至腾讯云 ES ?

A:有很多方案,比较简单可以通过 COS,COS 不仅可以做冷备,也可以做数据迁移。因为我们的 COS 插件是开源,可以下载一个到自建的 ES 系统上,把你的数据全量或者增量备份到 COS 上面,再把它恢复到腾讯云ES上是比较快的。另外在架构设计层面也会有一些不停服迁移方案,也可以咨询一下你的架构师。

 

Q:堆外内存是怎么用 MMmap 方式做的,腾讯云这里是直接改了 Lucene 了吗?

A:我们在内核方面做了大量的修改,有一部分是对 ES 的修改,另外大量的底层数据存储设计更多是对 Lucene 的修改,这些修改基本上都已经回馈给社区。

 

Q:ELK 日志延迟过大,是如何追平的?

A :前文提到的腾讯会议延迟过大主要就在于写入性能比较慢,所以一直追不上。我们入手的点也是提升集群的写入能力,一方面我们做了一些扩容类的工作,另外在拷贝方面也做了大量写入查询优化,最后推荐大家尽量使用最新版本,比如腾讯云支持的 7.5.1 版本,或者官方的 7.7 版本,最新版本有大量的写入查询优化。

 

Q:集群的服务器参数,是要定制化调试么,有成型的解决方案么?

A:这个问题很好,对于服务器我们需要做很多操作系统上的调节,我们的 ES 服务器上也做了大量偏向于 ES 应用的调用,我们云+社区专栏也有一篇文章叫做 ES调用实践,感兴趣的同学可以搜索了解一下。对这些参数的调试理解起来可能会有一些技术难度,并且在运维起来如果有一些参数忘了就会对性能产生影响,所以如果有兴趣可以去云+社区的 ES 专栏或者去社区看相关的一些文章。另外如果不想调试的话可以直接使用一些成熟的云产品。

直播预告

今晚8点,腾讯计费专家工程师刘德志做客云加社区沙龙直播间,为大家解读

金融级别云原生消息队列在腾讯计费的实践,扫描海报二维码或者点击文末「阅读原文」,即可预约观看本场直播~

相关推荐

大模型的Agent Skill功能,在LLM HTTP底层交互流中是怎么承载的?

网络文章文本的 skill,昨天我实现了之后也就开始好奇起 Skills 的底层原理了——相比起各种花里胡哨的 agrnt 应用,我一直以来都很对大模型在纯粹的 HTTP 交互层面是如何交互的更感兴趣。Skill 的全部"魔法"都发生在 system prompt 的措辞和 SKILL.md 文件的编写质量上——本质上是一种 prompt engineering + 文件系统的组合。但是各种天花乱坠的 skills,是如何在底层的 HTTP 中,与大模型——这个只会嘴遁的工具交互的呢?

QcloudCommunity的博客 407

万字入门AI Infra:深入理解大模型中的数学与Infra优化

关注腾讯云开发者,一手技术干货提前解锁👇AI Infra科普、入门或者进阶 ~~ 不到 5 万字,带你融会贯通理解大模型的数学、算法、硬件到系统工程。任何问题欢迎沟通交流。可怕,我竟然有点认同这句话。当然大概率是因为姚顺宇太懂AI了,而我则是因为无知者无畏。不过仔细想想,大模型推理中的数学逻辑确实不复杂,很多原理只需要高中数学知识就能看懂。但是为什么像 vLLM 这种推理系统这么复杂呢?本文将拆解大模型中几个核心操作(RMSNorm、Softmax、Causal Mask、Sampling)背后的数学与

QcloudCommunity的博客 1168

平平无奇的源码,竟藏着Agent的核心秘密?

System Prompt 是剧本,Skill 是剧本的扩展包,Agent Loop 是演员按剧本行动。欢迎留言,我们将邀请作者针对性回复你的评论,我们将选取1则优质的评论,送出腾讯云定制文件袋套装。,让 Agent 能主动"巡逻",而不只是被动等待用户消息。OpenClaw 的 System Prompt 分层结构。的"行为底线",任何 Skill 或用户命令都无法覆盖它。精华 2:Skill 的"按需加载"避免 token 浪费。精华 1:System Prompt 是"分层乐高积木"

QcloudCommunity的博客 426

QQ音乐Harness Engineering实践

一个看似简单的需求,背后可能牵动服务调用链、配置、灰度、埋点、错误码、接口契约和历史兼容性。当 AI 开始快速生成大量代码,真正的瓶颈就不再是"写不出来",而是"看不完、想不清、管不住"。在对话式编码阶段,一种典型的工作模式逐渐流行:开发者把需求丢给 AI,扫一眼输出"看起来对"就直接采纳,不审 diff、不追问逻辑、不验证边界。以音乐商业化业务为例,一个需求可能从 TAPD 单开始,经过需求评审、技术方案、服务影响面分析、IDL 契约变更、业务代码实现、测试验证、CR、灰度上线,最后才进入稳定运行。

QcloudCommunity的博客 715

从Prompt、Context到Harness,工程的三次进化与终局之战

同时,强制要求散落各处的决策记录(Slack、邮件、文档)全部迁移至代码仓库,确保 Agent 的唯一信息来源是可信的、版本受控的仓库。更坑爹的是,研究表明,当上下文过长时,模型会出现"中间遗忘(Lost in the Middle)"现象:它对开头和结尾的内容记忆较好,对中间大段内容的关注度大幅下降。这篇文章,我想带你完整走一遍这三次进化的逻辑:它们分别解决了什么问题,它们之间是什么关系,它们的边界在哪里,以及:当三者融合,AI 工程师的终极形态究竟是什么?大语言模型的本质,就是这位金鱼助理。

QcloudCommunity的博客 719

让Skill自己训练自己:8阶段Loop、3层评测、5维AND门控,从此实现自进化

所以每一轮改动都是有据可查的,不是「感觉这里可以优化」,而是「Case 41 挂了,因为 agent 把离职问题路由到了邮箱分类,但正确答案在通讯录,所以我改 root_index.md 加个易混淆提示」。但让我最后决定把它记录下来的,不是这的个「吸收」过程,而是它真的在替我探索我不想费脑力触达的边界,这看起来更像是一个机器智能应该有的样子。不准跨层,每轮只改一层的东西。但我经过这 19 轮之后觉得,更准确的描述是互补——你在明处看着,AI 在暗处替你试错,你看不见的那一半就是 AI 能贡献的地方。

QcloudCommunity的博客 1127

只加两行代码,为什么要两天?一文深度理解业务系统的复杂性

关注腾讯云开发者,一手技术干货提前解锁👇业务系统复杂性一直是令开发者头痛的问题。复杂的不是增加一个需求需要耗费多少时间,而是在增加一个需求后带来的蝴蝶效应:其它功能会不会受到影响、要如何去找到这些影响,最终如何实现系统正常运行......功能之间隐秘增加的耦合、不可避免的代码腐化在导致业务复杂性增加。大家都在说的软件开发提效到底在提什么?程序员日常工作中应该如何提升开发效率?敏捷开发、瀑布流式开发孰是孰非?欢迎阅读。业务背景与目标我依然非常清晰地记得某个时候,我所在团队 Leader 曾讲过一段话:“我担

QcloudCommunity的博客 713

从零设计生产级 Multi-Agent Harness:架构、评估、记忆、成本与 MCP 工具接入全拆解

在 AI Agent 领域,Multi-Agent Harness 指的是把多个 Agent 的能力、工具、状态、通信、编排、监控统一收束在一个运行时之内的框架。第三,Agent 路由。一个输入框,一个大模型,几个工具,一段写得很漂亮的 System Prompt,再配上一个炫酷的前端,看起来就像一个能干活的“数字员工”。Multi-Agent 完全不一样——它有计划、有中间步骤、有工具调用、有 Agent 协作、有重试、有反思、有最终合成。增加 Budget、权限、重试、压缩、轨迹评估、审计、回归测试。

QcloudCommunity的博客 710

拆完Hermes源码,我发现Agent的“自我进化“根本不需要训练模型

两个月 5.2 万 Star,Hermes Agent 用一个"LLM 审判官"机制实现了 Agent 的自我进化——不改模型权重,只改"怎么用模型"的策略。OpenClaw(社区昵称"龙虾"🦞)是 2025-2026 年最火的开源 Agent 框架,30 万+ Star,插件市场 ClawHub 里有数千个插件,能接入 Telegram、WhatsApp、Slack、飞书、企业微信——几乎是一个"个人 AI 操作系统"。Skill 是英语写的,Memory 是英语写的,审查 Prompt 也是英语写的。

QcloudCommunity的博客 910

AI Infra 其实没有多少新东西

传统 Infra 追求横向扩展,而 AI Infra 呈现 “AI 大型机”特性,是因为传统后台服务的可以容忍毫秒级延迟,但 AI 集群不行,GPU 的算力是 CPU 的数百倍,微秒级的延时等待也会造成很大的算力损耗,需要硬件的高度集成。在可预见的1-3年的未来,这样的专用硬件+网络的集中式架构很难发生比较大的改变。与之相似,模型推理的批处理就是将多个输入样本打包(batch),将原本串行的 N 次轻量的推理计算,合并为 1 次重量的计算,实现单位时间内处理更多的请求,提高了 GPU 利用率。

QcloudCommunity的博客 826

程序员越早想通这些越好

永远没有正确架构,你永远无法偿还完所有的技术债务,如同你永远不会设计出完美的界面,请避开完美主义的陷阱,永远没有完美的代码,能够满足当前需求,又为未来不管是自己还是他人留有扩展空间,就很好了。我们努力的方向就是将现实世界映射到有限的数据结构中,这就需要用户自定义类型,如果你的代码中包含类似 trader portfolio 这样的概念,你就可以使用他们的名称来建模,而不是使用基本数据类型复杂嵌套表述你的目的。从另一个角度看,代码里的注释都是补丁,是碎片化的,局部的注释很难推导模块整体的顺序及耦合关系。

QcloudCommunity的博客 466

RAG已死?不,是Grep回归了!

这样一来可以直接复用已有的计算缓存,只为新增的增量部分付全价,前面累积的大头按约 1/10 的缓存价计费。所以实际的工具组合方式是灵活的:Grep(默认模式)→ Read 是最常见的路径,但 Grep(content 模式)可以独立使用,LLM 也可以直接调 Read(如果已经知道文件路径),或者一次同时发起多个 Grep 并行搜索。它从零开始构建自己的对话历史,不继承主对话的消息,这意味着它搜索过程中产生的大量 grep 结果、代码片段都留在自己的 context 里,主对话只收到一段总结性的文本结论。

QcloudCommunity的博客 576

深入浅出Harness Engineerring之核心模式与理念

在智能体生命周期的关键节点(如会话开始、工具调用后)自动触发预设动作(如代码格式化),由系统确保关键流程被执行,不依赖可能被模型遗忘的指令。简单讲就是利用向量存储这个技术,来实现模糊检索,原理是:即使字面不同,但语义相近的文本,其向量在数学空间中的位置也很接近。根据命令类型、参数和影响,自动评估其风险等级(安全、有风险、危险),并采取自动执行、请求确认或直接拦截等不同策略。关键特性是可隔离、可重建、可扩展。不是一次判断就定终身,允许你改变、允许情况复杂,通过不断观察、思考、调整,越来越懂真实的你。

QcloudCommunity的博客 624

Harness Engineering实践心得:如何高效驾驭AI?

但如果这些经验被拆成一条条 Rule、一个个 Skill、一项项 Script 检查——"XAML 不能有中文"、"编译要用这个路径的 MSBuild"、"SVN 命令必须带认证参数"——AI 就能在秒级时间里"吸收"十年的踩坑经验。然后可以看到下方的图,我的PM会很顺利的调度其他agent分别负责不同的事项,遇到问题的时候也能准确的找到合适的agent。MCP 本质上是在扩展 AI 的"感知范围"——Rule 管"该怎么做",Skill 管"怎么操作",MCP 管"能看到什么、能碰到什么"。

QcloudCommunity的博客 843

从第一性原理思考 Agentic Engineering

需要注意的是,这一结论是有条件的:如果 AI 缺乏领域知识,过早介入反而可能引入 1.2 节所述的"似是而非"损耗——因此上下文供给(实践 1)是 AI 全链条参与的前提,而非结果。通过一个专门的自迭代 Skill 实现——当 AI 在协作过程中识别到自己被纠正(用户否定了 AI 的输出并给出了正确方向),它自动评估这个错误的根因,搜索现有的 Rules 和 Skills 中是否已有针对该类问题的处理规则。事实上,越是复杂的项目,工程师的认知负担越重(公理 3),AI 分担认知负担的潜在边际价值也越大。

QcloudCommunity的博客 757

万字干货!Harness Engineering如何工程化落地?

关注腾讯云开发者,一手技术干货提前解锁👇Harness Engineering 的概念已经火了有一阵了,全网很多文章基本都是在讲理念,讲为什么今天做 AI 开发,不能只靠一段提示词,也不能把模型当一个“更聪明的代码补全”。但与此同时,一个问题也在持续地发酵:这个问题特别重要。因为 Harness 这个词听上去很大,很像一个抽象的方法论,但它如果不能落到工程、目录、文档、脚本、工作流里,那它最后就只是一句漂亮的话。事实上,不同项目落地出来的 Harness,表面上可能完全不一样。有的项目是 CI 很强,有的

QcloudCommunity的博客 1170

全方位对比:Hermes VS OpenClaw

多账号矩阵运营 如果你的业务涉及同时管理多个社交媒体账号、多个平台的内容分发、多渠道的客户互动——OpenClaw是目前市场上的"无可替代的底座"。一个有专业背景的个人,现在可以快速构建一个垂直领域的AI助手:比如"财务分析Hermes"、"法律咨询Hermes"、"技术架构Hermes",直接通过微信提供服务,积累自己的专业IP。跨平台生态融合 如果你的工作流涉及飞书、Slack、Discord等多个平台的深度集成,需要这些平台之间的数据流转和联动——OpenClaw的生态支持是强大的。

QcloudCommunity的博客 1217

一文讲透:Harness Engineering即控制论!

而研发模式的升级我认为将会是一个飞跃的过程,之所以现在我们仍然需要需要参与编码,一个非常大的原因就是缺乏传感器和基建,仍然需要人来串流程,比如需要人来验证UI是否正确、需要人来告诉AI代码不符合代码规范,因此在有些场景我们仍然感觉 AI 完成的很吃力,但这不是 AI 能力不行,而是我们并没有为 AI 提供友好的环境……控制论中的突变理论介绍了矫枉过正和飞跃现象之间的矛盾,如果质变中经历的中间过渡态是不稳定的,那么他就是一个飞跃的过程,如果中间过渡态是稳定的,那么他就是一个渐变的过程。但是这些阶段要解决的。

QcloudCommunity的博客 1204

神级开源插件!一句话让QClaw变3D小镇,Agent工作可视化,赛博云监工

这个架构是翻了几次车才想通的—原有AI的实现机制是用 setTimeout 猜动画时长导致了幽灵 NPC、工位撞车、越改越崩,后面我停下来换了思路,推翻原有的架构,按照“意图+回传”的架构进行重构,之前的问题一次性全部解决。15 天,我和 AI 吵了 185 次架, 4.5 万行代码,开发了一款 QClaw / OpenClaw 的UGC游戏插件,这可能是人类跟 Agents 交互的新范式,插件已完全开源,有需要的欢迎自取~我天天用,用着用着我就在思考,Agent 产品现在的交互体验,基本都一个样。

QcloudCommunity的博客 1197

一文搞懂Hermes:新顶流Agent如何从经验中自我进化

Voyager 是一个能在 Minecraft 中自主探索、学习技能、无限积累能力的 AI Agent,它提出了 "Skill Library"(技能库)的概念——Agent 将成功的行为序列编码为可复用的技能函数,存储在一个持续增长的代码库中。如果 Skill 的名称和描述不够精准,或者用户的任务描述与 Skill 的触发条件有语义差距,Agent 可能会错过相关的 Skill。如果进程在写入过程中崩溃,目标文件要么是旧内容(还没被替换),要么是新内容(替换已完成),绝不会出现写了一半的损坏文件。

QcloudCommunity的博客 2636

自掏腰包一万元,拥抱AI这一年,我的工具、实践和思考

其实也很好理解,过往的每个领域(比如前端、后端、设计、测试等等)都主要是这个领域的从业者在为它添砖加瓦,但是大模型时代的 AI 应用领域却几乎是所有使用 AI 的人类一起在迭代,无分领域,无分文理,无分老少。因为每个时期的 AI 都有着不同的特点,很多时候当我费尽心思去钻研,自以为有点弄明白 AI 应该怎么玩的时候,基座模型和行业范式常常就会迎来颠覆式的变革,很多过往的经验都会倾覆,然后只能从头再来。过去一年多,被热议的 AI 范式大概是沿着四个阶段递进演化,每一个阶段其实都在解决前一个阶段的核心问题。

QcloudCommunity的博客 627

办公Agent的CI/CD时刻到来了

核心观点是:企业给员工配了一堆 AI 工具,试点跑了几百个,但真正拖慢 AI 转型速度的瓶颈不在模型能力,在"最后一公里":AI 输出和实际工作流之间的那道鸿沟。代码写完,打个 tar 包,开 FTP 传到服务器上,SSH 进去解压,改配置文件,重启服务,刷一下页面祈祷别 500。你复制,切窗口,粘贴到腾讯文档里,发现 Markdown 格式全乱了,手动调标题层级,代码块重新标记语言类型,表格散架了重排一遍。模型是越来越聪明了,但"生成"到"落地"之间那段路,还是你自己在走,一步一步,手动搬运。

QcloudCommunity的博客 608

4亿token买来5个教训:让6个AI Agent连写4天代码发生了什么?

Watchdog 检测到崩溃 → 启动诊断 Agent 分析原因 → 诊断 Agent 跑满 20 轮没搞定 → Watchdog 判定“已修复”,重启系统 → 重启的系统因为诊断 Agent 留下的环境变量被继承,连续 3 次拒绝启动 → 触发连续失败保护退出 → Watchdog 第 3 次巡检,发现进程和记录文件都没了,尝试手动重启,自己也停了。启动前我翻了论文、做了架构设计、写了监控+修复异常的脚本。这个发现让我的情绪从沮丧变成了兴奋——不是那种"终于修好了"的释然,是"我找到根因了"的快感。

QcloudCommunity的博客 584

赛博斗蛐蛐:9大模型决战三国志,天命在谁?

我猜是这样的,当Gemini面临决策的时候,一系列关键词比如 守城,劣势,粮草,三国等等,在语义层面的关联性中LLM发现了竖壁清野这个关键词概率非常高,所以以此为策略,然后再根据这个策略完美执行操作。MiMo 的外交是三方中最精明的。Kimi作为国产模型,也同样颠覆了我对他的看法,最后的比赛他甚至一度是优势者,存在很多夺冠的可能性,要知道他的对手可是claude和gemini,而他经常出兵慢,回过头来想想或许正是他的策略,毕竟中后期他的优势都来自于稳健的发展和较少的战斗频率(和claude比).

QcloudCommunity的博客 874

Claude Code是怎么知道你在骂他的?这 12 条发现值得关注

确实存在——5,500+ 行,集成了消息队列、工具装配、MCP 编排、会话状态、权限、分析、文件持久化和优雅关闭,基本上一个文件干了所有事。对抗虚假声明——"不要在输出显示失败时声称所有测试通过,不要压缩或简化失败的检查来制造绿色结果"。完整的 KAIROS 是一个持续驻留的守护进程,能感知你在不在电脑前、主动寻找有用的工作做,更像是住在终端里的全职同事。源码里藏着一个叫 "Buddy" 的电子宠物系统,完整度令人惊讶——这不是一个 TODO,而是一个从数值系统到 ASCII 动画都实现了的完整功能。

QcloudCommunity的博客 701

逆向深扒Claude Code源码,我发现了什么!?

Anthropic 内部用户获得更严格的质量控制 prompt、更好的验证机制(独立 Verification Agent)、以及针对 model 弱点的专门对策(如 Capybara v8 的 29-30% 错误声明率对策)。这不是代码混乱的标志——它是整个 Agent Loop 的心脏,所有的流式处理、工具调度、上下文压缩、子代理管理都在这个文件中协调。这种"胖核心"设计是刻意的:保持核心循环的原子性,避免分散到多个模块导致的协调复杂度。核心价值:Fork 代理的工具输出不会回到主代理的上下文窗口。

QcloudCommunity的博客 892

一文讲透如何构建Harness——六大组件全解析

本文将从"裸模型的四个硬伤"出发,逐一拆解 Harness 的六大组件——文件系统、Bash + 沙箱、记忆(AGENTS.md)、Web Search + MCP、上下文工程、编排 + Hooks——带你看清 AI Agent 真正的竞争壁垒,不在模型层,而在 Harness 层。如果你用过 Agent 做复杂任务,你一定有过这样的体验:一开始 Agent 的表现很好,但随着对话变长,它开始"变笨"——遗忘之前的约定,重复之前犯过的错误,甚至对同一个问题给出前后矛盾的回答。对于简单的问答场景,这无所谓。

QcloudCommunity的博客 761

Harness Engineering 来了,SDD 还有意义吗?

他们的解法是把「品味」编码进规则,然后用一个定期运行的「doc-gardening」Agent 自动扫描漂移、发起修复 PR——「技术债务就像一笔高息贷款,不断地以小额贷款的方式偿还,总比让债务不断累积要好」。代码仓库本地的、已版本化的工件,才是 Agent 所能看到的全部。在 Vibe Coding 模式下(即不做规划、随意向 AI 提需求的开发方式),大量设计决策、跨服务约定、「为什么不选另一个方案」的讨论,全部停留在一次性的 AI 对话里——下一个人,或者下一次 AI 会话,完全无从获取。

QcloudCommunity的博客 419

零废话!一文讲透从0构建AI Agent

每个工具都要写一套"定义→解析→执行"的胶水代码。上下文管理就是在"记住足够多"和"别超标"之间找平衡,常见策略包括滑动窗口、摘要压缩、RAG 检索增强。上下文窗口是 Agent 的"工作记忆",但它有硬性限制。LLM 负责"动脑"决策,代码负责"动手"执行。这是从"聊天机器人"进化到"Agent"的关键一步。每次调 API 都把完整对话历史发过去,LLM 本身是无状态的,"记忆"完全靠客户端的数组模拟。这样 Agent 一开始就知道自己"在哪里"、"手头有什么",不需要先花一轮工具调用去探索环境。

QcloudCommunity的博客 711

距离AI把小编我裁掉还有72小时

这是一个基于 OpenClaw 开源生态打造的本地化 AI Agent 助手,已于上周开启全量公测,无需复杂配置,三步即可上手,自带安全防护,支持微信直连绑定,内置多款优质国产大模型,现阶段也是完全免费使用,基本上前面提到过的痛点都可以靠它解决。对了,这里特别强调一点,上面的截图让产品同事汗流浃背,再三找我确认 QClaw 思考过程中优美的“草”字说法,不会是默认出现的吧?AI 好,AI 得学,但更重要的是,在你的工作和生活里,哪些东西是能结构化地被 AI 所接入的,不要死守着那些脏活累活不放。

QcloudCommunity的博客 674
上一篇: 原生加密:腾讯云数据安全中台解决方案
下一篇: PB级数据实时分析,ClickHouse到底有多彪悍?
腾讯云开发者
腾讯云开发者 企业官方账号 企业官方账号
博客等级 码龄10年 6291粉丝 1962原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值