替代Docker,登上顶刊,这款开源沙箱牛在哪里?

导语 | 通过 WebAssembly,腾讯云 Serverless 让开发者只写几行代码,就能在生产环境部署 TensorFlow 模型。Serverless 让开发者不用另起服务器,同时也比 AI SaaS 服务更易定制化,达到提高开发效率与业务灵活扩展的效果。本文由 Second State CEO Michael Yuan 在 Techo TVP 开发者峰会 ServerlessDays China 2021上的演讲《在腾讯云 Serverless 上部署AI推理函数》整理而成,向大家分享他的见解。

点击可观看精彩演讲视频

  一、 Serverless的未来在哪里?

去年在美国疫情特别严重的时候,我在家看 ServerlessDays China 的直播,了解到腾讯云在这个领域做了很多事。那时我在做浏览器之外的 WebAssembly,有种拿着锤子找钉子的感觉——就是一直在找应用场景。看完 ServerlessDays China 后,觉得把 WebAssembly 用在公有云、边缘云上的函数服务,特别有价值。于是就有了后来我们和腾讯云 Serverless 的合作,也是今天我的分享背景。我们专门定制了一个口罩“Make Serverless Great Again”,Serverless 的作用是什么?是让服务端编程又变得伟大起来。我们一直做服务端编程,多年来大家都觉得太复杂,但我觉得 Serverless 终于让它变得 sexy again 或者是 great again。

我今天分享的主题是“在腾讯云 Serverless 上面部署 AI 推理函数”。

顺便介绍一下,我们的开源项目叫做 WasmEdge。下面是去年 Datadog 做的 AWS Serverless  的调查,大家都在用什么语言对 Serverless Function 进行编程?结果是绝大多数人用 Java和Python 这种所谓比较重的、运营起来比较复杂的语言。

更有意思的是,有一半的 Serverless Function 在 800 毫秒以内执行完毕,也就是 0.8 秒执行完毕了。但我看这个图的想法是,god!有一半的 Serverless 都在 0.8 秒执行不完。如果我们考虑一些互联网的场景、实时的场景,比如一个应用有前端、后端,后端是用 Serverless 做的,如果每个函数执行0.8秒,这个应用基本很难被用起来。如果要是有10个函数,每一个执行时间就要 0.8 秒,一两秒才能给用户respond,对于大部分用户来说是不可接受的。所以得出一个结论,今天最常见的 Serverless 函数用例是在一个繁重的技术栈上运行一个简单的函数。

其实 Serverless 干的事情特别简单,把message queue里的 A 搬到 B,或者文件存储里面的文件从 A 搬到B。但在公有云的环境里没有很好的方法解决。所以,就用一个非常复杂的办法,比如用Java或Python来干这个事,因为别人已经提供很多的framework。干服务端的人知道这个事叫做“胶水代码”,今天公有云里面,大量的 Serverless function 就是用来做这个的。一个非常简单的函数,用了一个非常复杂的技术栈,只办一件非常简单的事。我们觉得FaaS 或者 Serverless function 真正要有未来,一定得要用到在服务端里面最常见的场景——用后端服务前端。

二、Jamstack revolution


先看一下,现在前端在流行什么?

现在前端可能最流行的 buzzword 叫做 Jamstack:JavaScript, API and Markup。核心原理是预渲染与解耦。传统的Web application有多年历史,从Java Server开始,我们需要从数据库开始到中间件,然后中间件上面产生用户需要的HTML和JavaScript UI,把这个UI通过网络送到浏览器里面,然后用户在浏览器里面与我进行交流。这个模式当然很好,但整个stack都是我的。所谓 Jamstack 的解耦,就是客户端和服务端是完全分开的。客户端是预渲染出来,用另外一种语言写我的客户端,用一种编译的方法把它编译成JavaScript和 HTML ,编译出来的内容是self-contain,因为它自己就能运行。可以把客户端放在本地运行,可以用 CDN 部署,甚至可以用区块链部署。因为不需要后端就可以运行起来。当它需要后端功能的时候,是用后端微服务或者 Serverless function 形成一段后端的函数,前后端进行交互。这是 Jamstack 的核心思想。

一个热门的 Jamstack——Next js,在GitHub上是6万多颗星,Hugo 和 Gatsby 有5万多颗星。当然还有我们特别熟悉的 Vue。有人称它们为生成网站工具,也有人称前端的编译器。这样的工具,现在找的话至少是以百计,这只是三个比较popular的而已。大家知道,前端的工具特别能给 engage developer,几乎所有的开发者都是从前端开始的。所以前端的开发者选什么,对后端开发者是有直接影响的。今天前端开发者很明显想要用 Jamstack 这种做法。国内也有做得很好的,比如DCloud的uni-app,已经在微信小程序里占了60%到70%的市场份额。基于Vue,前端生成了小程序,然后能够通过CDN解耦地部署,后端是用Serverless Function。我想说的是,现在特别多的人喜欢用这个做法。

但这对后端的 Serverless 函数提出了很高的要求。Serverless 函数主要是执行速度很慢,冷启动也很慢,这样造成的结果就是不能服务这样的前端。因为这样的前端最大的好处就是速度快,因为它是编译出来的,可以被放在 CDN 上运行,可以在离用户很近的地方运行。但是后端目前 Serverless Function 跟不上这个趋势的发展,因为今天的 Serverless Function 有冷启动,计算慢等各种各样的问题。

讲一个应用场景,前端有个程序,后端的 Serverless Function 要进行复杂的运算,比如进行AI推理。所有人都说应该用Python做 AI 推理,因为 Python 工具链最全,所有的文档都是用Python写的。可是大家知道,在Python下面,包括Google的TensorFlow都只是表面上 Python,下面都是C++,因为Python是很慢的语言。这是去年6月份Science上发表的文章,文章的题目也很有意思:There's plenty of room at the Top。40年前,Richard Feynman发表的文章叫做 There's plenty of room at the bottom,这篇文章一直以来被人说成是“摩尔定律”。摩尔定律讲的是软件的优化不重要,因为硬件每18个月就会翻番,今天运行的软件18个月之后就会运行得更快。当年比尔盖茨说过同样的话。有人抱怨Windows的软件写得太烂了,太慢了!有着各种各样的问题。比尔盖茨回应为什么要在软件的性能上花费很多时间?因为硬件18个月就会catch up,我要管的是用户体验,开发者体验。对于软件,我并不重视。在摩尔定律的时候,大家一直这么想:软件不重要。我也是在这个行业里面成长起来。但直到最近,摩尔定律这件事情不成立了。Apple的M1出来的时候,性能提高20%,现在硬件提高20%就可以上新闻了,以前硬件每18个月可是要翻番的。所以硬件的速度提高,现在已经基本停止了。

那我们还要从计算机行业里面挖出更多的生产力,就要用软件的方法来挖。所以,在这篇文章里,用Python实现矩阵运算或者张量运算,同时用 Java、C、C++硬件加速进行对比,如果bench mark是 1 的话,用C + 硬件加速能够实现6万多倍的增加。这些顶级的科学家写这篇文章的目的是说有很大的空间,大家现在需要考虑的是怎么才能有新的软件 framework,怎么才能在软件里用新的 framework 和方法把效率挖出来,而不是总等着硬件升级。

右上角的另一个研究是对不同的编程语言进行了一些常用的算法benchmark,主要对比时间和内存的消耗。大家可以看得很清楚,Java并不是特别慢,但内存消耗特别大,大家也可以理解,因为它有garbage collector机制。Python 内存消耗不大,但运行速度特别慢。C++不进行硬件加速的情况下,也是 Python的200倍左右。速度最快的是C、C++、 Rust。我们如果有计算密集的函数,想放在 Jamstack 的后端做Serverless function,不能用Python。因为用 Python 的话,今天是 0.8 秒,就会变成 80秒才能return。我知道腾讯云 Serverless 一个很厉害的功能 long running process,但还是为胶水代码设计的,并不是为一个用户等着Serverless function去反应设计的,这是为什么不用Python 的原因。

为什么不直接用Native C code?因为在 Serverless 下面就是容器,可以运行Linux,为什么不直接用C、C++写?比如做 AI 推理,为什么不直接用C、C++调用TensorFlow的C库。当然这是可以的。不过,这其中有几个问题。回到当年我们为什么用Java的原因。我的第一家公司 Jboss,是第一个做开源的Java server的。JBoss 在 2004年的时候卖了4亿美金。我们当年把Java用在Server side的时候,是因为我们不懂。那个时候我刚物理博士毕业,CEO Marc Fleury 是法国伞兵,在MIT学物理博士,毕业后找不到工作,于是就有了 Jboss 这个项目。我们不懂Server side上要不要用 Java。所有懂行的人都告诉我们,把Java放到Server side是个很傻的想法。Server side对性能要求高,应该用C++写apache extension,appache extension能够加载动态库,所以要用C、C++写,这是只是其一。其二,如果不要性能的话,就应该用curl写。Java 明显是为客户端设计,Write once, run everywhere。在服务端我已经知道我的机器是什么,为什么还需要 call platform 的东西?但是最后Java成功了,因为前端的开发者愿意用。

这个行业之所以不停在造轮子,就是因为行业不停有新人进来,新人都是从前端开始的。这些新人在前端学了Java,跑到后端来说,你们干的东西太复杂了,我不懂你们为什么这么干,我要重新干,重新用Java搞一遍,这就是我们当年的想法。我们干的这件事的10年之后发生什么事,发生了 JavaScript 从前端变到了后端,就轮到我们跟当年 Node.js 的人说,JavaScript是单线程的东西,怎么可能用到后端呢。每一轮都会这个想法。

长话短说,回到这个时代。Serverless 也是有container的,也是有native的运行环境,为什么不用C、C++写?第一是太困难。第二,很重要的原因是腾讯云的 Serverless 可能是一个比较uniform的环境,但是今天问下不是腾讯的同学们,你们知道腾讯云的 Serverless 里面Docker 写的是第几版的 centOS 吗?大部分人不知道具体的细节,因为用 Serverless 就是不想去关心这个事。这就造成了,写一段代码能够在所有目标环境中运行,这件事情又变得重要起来。这有的时候重要,有的时候不重要,取决于行业发展阶段。行业发展到 Serverless,已经不知道下面运行的 container 是什么,以及这个container里面的操作系统被云服务商进行哪些改动,libc进行了什么改动,现在我们已经不知道了。所以又需要一个中间层,用native写这个代码也不是很靠谱的主意,虽然它能够写出性能很好的东西。

我们当时拿着锤子找钉子,我们做 WebAssembly,而且写出来了高性能的 WebAssembly 虚拟机,觉得自己是搞 Rust 的大拿,一定要在云计算里面找到场景。尤其是Docker的创始人已经说了云计算的未来就是 WebAssembly,那一定要找到这条路。

三、 Rust  + WebAssembly

所以,我们找到一条路, Rust + WebAssembly,特别像当年的Java加JVM,一个是语言,另一个是runtime。当然,结构已经发生很大的变化, 编译器现在变得越来越强大,我们刚才讲 Jamstack 就是前端的编译器, Rust 是一个语言的编译器,他的编译也很强大。Rust 这个语言大家一开始可能都觉得很难用,但是 Rust 的学习过程非常直接的。无论你做错什么,编译器都会告诉你,就像一个很好的老师,会不停地告诉你,哪个地方错了,应该怎么改。所以, Rust 是一个内存安全的语言,现在很多大厂也在用。而 WebAssembly 是一个非常轻量机的虚拟机,不做内存管理,只做隔离。所以造成了memory footprint很小,而且运行速度很快,提供了安全性和可移植性,这在 Serverless 的背景下是很重要的。

我们最后的技术方案是 Rust +WebAssembly,也是正在发展的社区。投资人问,要做开发者的生意,为什么不去搞JS、Python或者Java?那里人最多。我说我多年以前就是搞Java的,2005年第一次选Java Champion的时候我就是其中之一。但是今天要问一个开发者为什么用Java?这个开发者一定告诉你:是因为我老板让我用Java,我没有什么想法。但碰见一个 Rust 开发者,你要问他为什么用 Rust 。这句话还没有问出来,开发者早就问你,为什么你的软件不用 Rust 重新写?

我们去年12月份在深圳办中国第一次 Rust 大会,好多人是自费来的,这里面好多是学生。这个行业让我看到了当年Java的激动,就是大家自己花钱也要跟其他人说,你们的东西一定要用 Rust 重写,因为这个语言好。但我并没有看到Java、JS有这样的社区,这也是我们想做这件事的原因。

最关键的点,我们写了一个开源项目,WasmEdge,WebAssembly on the edge,目前是CNCF的沙箱项目。我们想做在服务端很好用,或者说在边缘端很好用的 WebAssembly runtime。我们在同行评议的杂志 IEEE Software 上发表了一篇文章,是跟大学一起合作的,我们比较了市场上所有比较前沿的 WebAssembly 项目的性能,至少在浏览器之外,我们的性能是最好的。这是为什么呢?因为我们用AOT,相比之下性能更强。

如果我想要把 WebAssembly 从浏览器变到服务端,要做些什么工作?一定需要在这里面进行某种改动,才能够实现。当年Java做了很多改动,刚放到服务端的时候什么都不能用,所以就出了JNI。今天 WebAssembly 在走一模一样的路,没有 API,没有 ecosystem,就搞个Native API。正好它又和下面的操作系统结合比较紧,在 Rust  API 能够很好反映出来,因为它跟下面操作系统的语言,跟C++是一样的。我们通过 WasmEdge,通过CNCF,在WebAssembly 里面做了很多扩展,这些扩展基本上都是为了在服务端或者云端能够运行WebAssembly,包括进行 TensorFlow 的扩展、能够直接访问 TensorFlow 的 C 库以及TensorFlow下的硬件加速、存储的拓展、区块链的扩展等等。WebAssembly 今天在不同场景里有非常广泛的应用,我们都做了 API 的扩展。

我们来看下代码,这是用 Rust 写的 Serverless function。输入是一串二进字码,表达的是一个图片,输出的是一个字符串。所以这个 Rust 函数要做的事是用 AI 模型对图片进行推理识别,然后输出结果。

首先图片进来,要变成 TensorFlow model 需要的大小:192×192。因为输入应该是个张量,所以把里面的pixel重新arrange一下,变成张量需要的格式。

然后读取模型的数据,这里用的模型是see food(检查图像里的食物是什么,如果这个加上食物卡路里,那就是很有用的应用)。

当然还要加载一些跟这个模型有关的数据,比如label map,这是一个物体的list。因为输出的tensor全部是数字,把数字对应到训练集里物体的名字,比如一是猫,二是狗,三是汽车。然后再调用我们写的 Rust  SDK,在SDK里把图像变成输入,从模型里找到output tensor,就是最有可能的 label 分别是什么。是这样一组数组:猫有50%的几率,狗有20%的几率。

接着,就进行推理了。推理之后,再用 Rust 函数把推理出的结果重新整理一遍,找出排名前几的概率分别是多少,最后把map的字符串输出。整个函数很简单。

如果用 JS,不做任何优化,一幅比较大的图需要要运行一分钟以上才能够结束。如果用 JIT 的 TensorFlow Lite ,需要几秒时间,就是在线等,勉强能接受。但如果用 Rust 和 WebAssembly 在腾讯云上,不用 GPU 加速,一秒钟能跑10—20幅。基本上简单的视频都可以做了。我们现在已经有合作的公司,使用腾讯云在短视频里识别人或者物品,这是一家电商公司,去识别视频里有多少人提包、这个包是什么样的,然后进行高性能的 AI 推理。这都是用 Rust 能够完成的功能。

其实真正的AI推理只有两行,其他用 Rust 写的东西都是预处理和后处理。AI 的95%工作都是在准备数据,结果出来后,把结果变成可读的形式。这种代码以前都是 Python 写的,但变成 Rust 和 WebAssembly 后,可以提速100倍以上。

我们的代码是开源的,有个网站,大家可以体验一下。在腾讯云 Serverless 已经有Docker的情况下为什么还要加一个容器 WebAssembly?主要想把 Rust 语言和TensorFlow相结合,能提高开发者效率。

四、WasmEdge 作为 Docker 的替代

最后,想讲一下,WasmEdge 作为Docker的替代。我们能不能有一天不用Docker了,直接用 WebAssembly?

Serverless Container 有三个层级:

1. Hypervisor Vm or MicroVMs(例如 AWS Firecracker,用 Rust 写的)。公有云上面需要有比较强的隔离,MicroVM 对 Serverless 环境进行隔离,这是最慢的做法,也是最安全的做法。

2. 容器应用(例如Docker)。但一般的公有云不会简单用Docker,比如谷歌云里边也是用Docker,但在Docker下面又再加了一层,把Docker的隔离安全性能提高。这种情况下,用Docker其实性能损失也是比较大的,但没有MicroVM 大。

3. 高级语言虚拟机(例如Jvm、Ruby/Python运行环境、V8、WebAssembly)。高级语言的虚拟机如果有内存管理,其实成本很高,不见得比Docker快多少。所以,WebAssembly 也许在未来是一个能够直接取代Docker的运行环境。WebAssembly 可以直接在process里起,也可以直接在thread里起。然后用inter process,几个机器之间也能够communicate。

来看 WebAssembly 与Docker的对比。最下面是冷启动的对比。WebAssembly 的冷启动是蓝颜色柱状条,大家能看见它是因为我乘以了50,50倍的慢动作显示在图片上,大家可以看出这个速度差异大概有好几百倍。WebAssembly 的启动速度根本看不见,很快;用Docker的话,经常情况下时间更长。启动时间的话,WebAssembly 与Docker有很大的区别。

WebAssembly 的好处主要是轻,软件在上面其实有很多置放可以被挤掉。轻量级跟性能有关,它最初是为浏览器设计的。另外是高性能的、可移植的。

回到第一点,安全。很多人认为 WebAssembly 的时间不长,所以安全性必然不好,我不这么认为。因为 WebAssembly 有两个非常大的优势。其一 capability based security 。因为它是一个新设计的虚拟环境,可以有新的安全模式。以前Linux下的安全模型都是用户有什么权限,东西就有什么权限。但是 WebAssembly 可以在启动的时候指定有什么权限,可以指定一系列的权限 所以,它有一整套自己的安全机制。

其二,WebAssembly 在区块链的应用场景里,出了很多骗子,但是区块链行业花大价钱做资产安全。这里面的代码、智能合约如果写得不好,就会面临钱被偷掉的问题。所以,区块链行业里大量的人用大量的时间做了一件事情叫做“形式化验证”——用数学的方法去证明一段程序是正确的。这个工作目前在 WebAssembly 里面做得最多,因为 WebAssembly 写出来的智能合约最多。包括 WebAssembly 虚拟机本身和 WebAssembly 虚拟机里面写出来的程序也可以进行虚拟化验证。

这也是为什么比如我们公司今天想把 WebAssembly 做到智能汽车中。进行过形式化验证的系统,比不进行形式化验证的系统安全级别要高很多。Wasm 在市场上的时间和踩到的坑,肯定没有Docker多,但是可以说它生来就是一个比较安全的技术。

最后介绍一下我们的 WasmEdge 开源项目到底在干什么?我们符合 WebAssembly 标准、支持所有提议的扩展、高性能、支持 AI 和其他的自定义扩展。标准不是靠二三十个博士放在五星酒店里制定出来的。这样制定出来的标准有Java EE、1.0 Java EE 2.0,但所有社区里面都怨声载道,太复杂。我们认为标准是在实战中打出来的。很多程序员不停实验,最后有人实验出来大家都接受的方法。所以,我们希望 WasmEdge 是在社区里面能够起到这样的作用,我们现在已经支持很多扩展。虽然大部分(扩展)会死掉,但是一小部分会被社区接受,成为 WebAssembly 这个行业里面的事实标准。

我们支持旧版的Linux和RTOS、支持OCI和K8s生态,比如可以 Wasm file 放到Docker image 里,用Docker工具起 Wasm 程序,可以让K8s调度 WasmEdge。我们在积极地探索 WasmEdge 跟其他生态的整合与扩展。

非常感谢大家的时间,希望跟大家多交流,谢谢!

  讲师简介

Michael Yuan

WasmEdge 的创始人和核心开发者

WasmEdge 的创始人和核心开发者。WasmEdge 是一个由 CNCF 托管的开源 WebAssembly 虚拟机。其主要应用于边缘计算、Service Mesh 和嵌入式函数。Michael 撰写过6 本软件工程书籍,也是长期的开源贡献者。Michael 同时也是 Second State 的联合创始人。Second State 是一家开源基础软件初创公司,致力于商业化可持续地支持 WebAssembly 和 Rust 生态系统中的企业应用。

  推荐阅读

如何优雅地把握 Serverless 和 Serverful 的平衡点?

从万物互联到万物智联,物联网的下一个爆发点在哪里?

微服务和 Serverless 如何强强联合?

Function Mesh:Serverless 在消息与流数据场景下的火花


???? 错过了直播懊悔不已?本次峰会所有嘉宾的演讲视频回顾上线啦,点击「阅读原文」即可观看~

???? 看视频不过瘾还想要干货PPT?关注本公众号,在后台回复关键词「serverless」即可获取!

相关推荐

大模型的Agent Skill功能,在LLM HTTP底层交互流中是怎么承载的?

网络文章文本的 skill,昨天我实现了之后也就开始好奇起 Skills 的底层原理了——相比起各种花里胡哨的 agrnt 应用,我一直以来都很对大模型在纯粹的 HTTP 交互层面是如何交互的更感兴趣。Skill 的全部"魔法"都发生在 system prompt 的措辞和 SKILL.md 文件的编写质量上——本质上是一种 prompt engineering + 文件系统的组合。但是各种天花乱坠的 skills,是如何在底层的 HTTP 中,与大模型——这个只会嘴遁的工具交互的呢?

QcloudCommunity的博客 407

万字入门AI Infra:深入理解大模型中的数学与Infra优化

关注腾讯云开发者,一手技术干货提前解锁👇AI Infra科普、入门或者进阶 ~~ 不到 5 万字,带你融会贯通理解大模型的数学、算法、硬件到系统工程。任何问题欢迎沟通交流。可怕,我竟然有点认同这句话。当然大概率是因为姚顺宇太懂AI了,而我则是因为无知者无畏。不过仔细想想,大模型推理中的数学逻辑确实不复杂,很多原理只需要高中数学知识就能看懂。但是为什么像 vLLM 这种推理系统这么复杂呢?本文将拆解大模型中几个核心操作(RMSNorm、Softmax、Causal Mask、Sampling)背后的数学与

QcloudCommunity的博客 1168

平平无奇的源码,竟藏着Agent的核心秘密?

System Prompt 是剧本,Skill 是剧本的扩展包,Agent Loop 是演员按剧本行动。欢迎留言,我们将邀请作者针对性回复你的评论,我们将选取1则优质的评论,送出腾讯云定制文件袋套装。,让 Agent 能主动"巡逻",而不只是被动等待用户消息。OpenClaw 的 System Prompt 分层结构。的"行为底线",任何 Skill 或用户命令都无法覆盖它。精华 2:Skill 的"按需加载"避免 token 浪费。精华 1:System Prompt 是"分层乐高积木"

QcloudCommunity的博客 426

QQ音乐Harness Engineering实践

一个看似简单的需求,背后可能牵动服务调用链、配置、灰度、埋点、错误码、接口契约和历史兼容性。当 AI 开始快速生成大量代码,真正的瓶颈就不再是"写不出来",而是"看不完、想不清、管不住"。在对话式编码阶段,一种典型的工作模式逐渐流行:开发者把需求丢给 AI,扫一眼输出"看起来对"就直接采纳,不审 diff、不追问逻辑、不验证边界。以音乐商业化业务为例,一个需求可能从 TAPD 单开始,经过需求评审、技术方案、服务影响面分析、IDL 契约变更、业务代码实现、测试验证、CR、灰度上线,最后才进入稳定运行。

QcloudCommunity的博客 715

从Prompt、Context到Harness,工程的三次进化与终局之战

同时,强制要求散落各处的决策记录(Slack、邮件、文档)全部迁移至代码仓库,确保 Agent 的唯一信息来源是可信的、版本受控的仓库。更坑爹的是,研究表明,当上下文过长时,模型会出现"中间遗忘(Lost in the Middle)"现象:它对开头和结尾的内容记忆较好,对中间大段内容的关注度大幅下降。这篇文章,我想带你完整走一遍这三次进化的逻辑:它们分别解决了什么问题,它们之间是什么关系,它们的边界在哪里,以及:当三者融合,AI 工程师的终极形态究竟是什么?大语言模型的本质,就是这位金鱼助理。

QcloudCommunity的博客 719

让Skill自己训练自己:8阶段Loop、3层评测、5维AND门控,从此实现自进化

所以每一轮改动都是有据可查的,不是「感觉这里可以优化」,而是「Case 41 挂了,因为 agent 把离职问题路由到了邮箱分类,但正确答案在通讯录,所以我改 root_index.md 加个易混淆提示」。但让我最后决定把它记录下来的,不是这的个「吸收」过程,而是它真的在替我探索我不想费脑力触达的边界,这看起来更像是一个机器智能应该有的样子。不准跨层,每轮只改一层的东西。但我经过这 19 轮之后觉得,更准确的描述是互补——你在明处看着,AI 在暗处替你试错,你看不见的那一半就是 AI 能贡献的地方。

QcloudCommunity的博客 1127

只加两行代码,为什么要两天?一文深度理解业务系统的复杂性

关注腾讯云开发者,一手技术干货提前解锁👇业务系统复杂性一直是令开发者头痛的问题。复杂的不是增加一个需求需要耗费多少时间,而是在增加一个需求后带来的蝴蝶效应:其它功能会不会受到影响、要如何去找到这些影响,最终如何实现系统正常运行......功能之间隐秘增加的耦合、不可避免的代码腐化在导致业务复杂性增加。大家都在说的软件开发提效到底在提什么?程序员日常工作中应该如何提升开发效率?敏捷开发、瀑布流式开发孰是孰非?欢迎阅读。业务背景与目标我依然非常清晰地记得某个时候,我所在团队 Leader 曾讲过一段话:“我担

QcloudCommunity的博客 713

从零设计生产级 Multi-Agent Harness:架构、评估、记忆、成本与 MCP 工具接入全拆解

在 AI Agent 领域,Multi-Agent Harness 指的是把多个 Agent 的能力、工具、状态、通信、编排、监控统一收束在一个运行时之内的框架。第三,Agent 路由。一个输入框,一个大模型,几个工具,一段写得很漂亮的 System Prompt,再配上一个炫酷的前端,看起来就像一个能干活的“数字员工”。Multi-Agent 完全不一样——它有计划、有中间步骤、有工具调用、有 Agent 协作、有重试、有反思、有最终合成。增加 Budget、权限、重试、压缩、轨迹评估、审计、回归测试。

QcloudCommunity的博客 710

拆完Hermes源码,我发现Agent的“自我进化“根本不需要训练模型

两个月 5.2 万 Star,Hermes Agent 用一个"LLM 审判官"机制实现了 Agent 的自我进化——不改模型权重,只改"怎么用模型"的策略。OpenClaw(社区昵称"龙虾"🦞)是 2025-2026 年最火的开源 Agent 框架,30 万+ Star,插件市场 ClawHub 里有数千个插件,能接入 Telegram、WhatsApp、Slack、飞书、企业微信——几乎是一个"个人 AI 操作系统"。Skill 是英语写的,Memory 是英语写的,审查 Prompt 也是英语写的。

QcloudCommunity的博客 910

AI Infra 其实没有多少新东西

传统 Infra 追求横向扩展,而 AI Infra 呈现 “AI 大型机”特性,是因为传统后台服务的可以容忍毫秒级延迟,但 AI 集群不行,GPU 的算力是 CPU 的数百倍,微秒级的延时等待也会造成很大的算力损耗,需要硬件的高度集成。在可预见的1-3年的未来,这样的专用硬件+网络的集中式架构很难发生比较大的改变。与之相似,模型推理的批处理就是将多个输入样本打包(batch),将原本串行的 N 次轻量的推理计算,合并为 1 次重量的计算,实现单位时间内处理更多的请求,提高了 GPU 利用率。

QcloudCommunity的博客 826

程序员越早想通这些越好

永远没有正确架构,你永远无法偿还完所有的技术债务,如同你永远不会设计出完美的界面,请避开完美主义的陷阱,永远没有完美的代码,能够满足当前需求,又为未来不管是自己还是他人留有扩展空间,就很好了。我们努力的方向就是将现实世界映射到有限的数据结构中,这就需要用户自定义类型,如果你的代码中包含类似 trader portfolio 这样的概念,你就可以使用他们的名称来建模,而不是使用基本数据类型复杂嵌套表述你的目的。从另一个角度看,代码里的注释都是补丁,是碎片化的,局部的注释很难推导模块整体的顺序及耦合关系。

QcloudCommunity的博客 466

RAG已死?不,是Grep回归了!

这样一来可以直接复用已有的计算缓存,只为新增的增量部分付全价,前面累积的大头按约 1/10 的缓存价计费。所以实际的工具组合方式是灵活的:Grep(默认模式)→ Read 是最常见的路径,但 Grep(content 模式)可以独立使用,LLM 也可以直接调 Read(如果已经知道文件路径),或者一次同时发起多个 Grep 并行搜索。它从零开始构建自己的对话历史,不继承主对话的消息,这意味着它搜索过程中产生的大量 grep 结果、代码片段都留在自己的 context 里,主对话只收到一段总结性的文本结论。

QcloudCommunity的博客 576

深入浅出Harness Engineerring之核心模式与理念

在智能体生命周期的关键节点(如会话开始、工具调用后)自动触发预设动作(如代码格式化),由系统确保关键流程被执行,不依赖可能被模型遗忘的指令。简单讲就是利用向量存储这个技术,来实现模糊检索,原理是:即使字面不同,但语义相近的文本,其向量在数学空间中的位置也很接近。根据命令类型、参数和影响,自动评估其风险等级(安全、有风险、危险),并采取自动执行、请求确认或直接拦截等不同策略。关键特性是可隔离、可重建、可扩展。不是一次判断就定终身,允许你改变、允许情况复杂,通过不断观察、思考、调整,越来越懂真实的你。

QcloudCommunity的博客 624

Harness Engineering实践心得:如何高效驾驭AI?

但如果这些经验被拆成一条条 Rule、一个个 Skill、一项项 Script 检查——"XAML 不能有中文"、"编译要用这个路径的 MSBuild"、"SVN 命令必须带认证参数"——AI 就能在秒级时间里"吸收"十年的踩坑经验。然后可以看到下方的图,我的PM会很顺利的调度其他agent分别负责不同的事项,遇到问题的时候也能准确的找到合适的agent。MCP 本质上是在扩展 AI 的"感知范围"——Rule 管"该怎么做",Skill 管"怎么操作",MCP 管"能看到什么、能碰到什么"。

QcloudCommunity的博客 843

从第一性原理思考 Agentic Engineering

需要注意的是,这一结论是有条件的:如果 AI 缺乏领域知识,过早介入反而可能引入 1.2 节所述的"似是而非"损耗——因此上下文供给(实践 1)是 AI 全链条参与的前提,而非结果。通过一个专门的自迭代 Skill 实现——当 AI 在协作过程中识别到自己被纠正(用户否定了 AI 的输出并给出了正确方向),它自动评估这个错误的根因,搜索现有的 Rules 和 Skills 中是否已有针对该类问题的处理规则。事实上,越是复杂的项目,工程师的认知负担越重(公理 3),AI 分担认知负担的潜在边际价值也越大。

QcloudCommunity的博客 757

万字干货!Harness Engineering如何工程化落地?

关注腾讯云开发者,一手技术干货提前解锁👇Harness Engineering 的概念已经火了有一阵了,全网很多文章基本都是在讲理念,讲为什么今天做 AI 开发,不能只靠一段提示词,也不能把模型当一个“更聪明的代码补全”。但与此同时,一个问题也在持续地发酵:这个问题特别重要。因为 Harness 这个词听上去很大,很像一个抽象的方法论,但它如果不能落到工程、目录、文档、脚本、工作流里,那它最后就只是一句漂亮的话。事实上,不同项目落地出来的 Harness,表面上可能完全不一样。有的项目是 CI 很强,有的

QcloudCommunity的博客 1170

全方位对比:Hermes VS OpenClaw

多账号矩阵运营 如果你的业务涉及同时管理多个社交媒体账号、多个平台的内容分发、多渠道的客户互动——OpenClaw是目前市场上的"无可替代的底座"。一个有专业背景的个人,现在可以快速构建一个垂直领域的AI助手:比如"财务分析Hermes"、"法律咨询Hermes"、"技术架构Hermes",直接通过微信提供服务,积累自己的专业IP。跨平台生态融合 如果你的工作流涉及飞书、Slack、Discord等多个平台的深度集成,需要这些平台之间的数据流转和联动——OpenClaw的生态支持是强大的。

QcloudCommunity的博客 1217

一文讲透:Harness Engineering即控制论!

而研发模式的升级我认为将会是一个飞跃的过程,之所以现在我们仍然需要需要参与编码,一个非常大的原因就是缺乏传感器和基建,仍然需要人来串流程,比如需要人来验证UI是否正确、需要人来告诉AI代码不符合代码规范,因此在有些场景我们仍然感觉 AI 完成的很吃力,但这不是 AI 能力不行,而是我们并没有为 AI 提供友好的环境……控制论中的突变理论介绍了矫枉过正和飞跃现象之间的矛盾,如果质变中经历的中间过渡态是不稳定的,那么他就是一个飞跃的过程,如果中间过渡态是稳定的,那么他就是一个渐变的过程。但是这些阶段要解决的。

QcloudCommunity的博客 1204

神级开源插件!一句话让QClaw变3D小镇,Agent工作可视化,赛博云监工

这个架构是翻了几次车才想通的—原有AI的实现机制是用 setTimeout 猜动画时长导致了幽灵 NPC、工位撞车、越改越崩,后面我停下来换了思路,推翻原有的架构,按照“意图+回传”的架构进行重构,之前的问题一次性全部解决。15 天,我和 AI 吵了 185 次架, 4.5 万行代码,开发了一款 QClaw / OpenClaw 的UGC游戏插件,这可能是人类跟 Agents 交互的新范式,插件已完全开源,有需要的欢迎自取~我天天用,用着用着我就在思考,Agent 产品现在的交互体验,基本都一个样。

QcloudCommunity的博客 1197

一文搞懂Hermes:新顶流Agent如何从经验中自我进化

Voyager 是一个能在 Minecraft 中自主探索、学习技能、无限积累能力的 AI Agent,它提出了 "Skill Library"(技能库)的概念——Agent 将成功的行为序列编码为可复用的技能函数,存储在一个持续增长的代码库中。如果 Skill 的名称和描述不够精准,或者用户的任务描述与 Skill 的触发条件有语义差距,Agent 可能会错过相关的 Skill。如果进程在写入过程中崩溃,目标文件要么是旧内容(还没被替换),要么是新内容(替换已完成),绝不会出现写了一半的损坏文件。

QcloudCommunity的博客 2636

自掏腰包一万元,拥抱AI这一年,我的工具、实践和思考

其实也很好理解,过往的每个领域(比如前端、后端、设计、测试等等)都主要是这个领域的从业者在为它添砖加瓦,但是大模型时代的 AI 应用领域却几乎是所有使用 AI 的人类一起在迭代,无分领域,无分文理,无分老少。因为每个时期的 AI 都有着不同的特点,很多时候当我费尽心思去钻研,自以为有点弄明白 AI 应该怎么玩的时候,基座模型和行业范式常常就会迎来颠覆式的变革,很多过往的经验都会倾覆,然后只能从头再来。过去一年多,被热议的 AI 范式大概是沿着四个阶段递进演化,每一个阶段其实都在解决前一个阶段的核心问题。

QcloudCommunity的博客 627

办公Agent的CI/CD时刻到来了

核心观点是:企业给员工配了一堆 AI 工具,试点跑了几百个,但真正拖慢 AI 转型速度的瓶颈不在模型能力,在"最后一公里":AI 输出和实际工作流之间的那道鸿沟。代码写完,打个 tar 包,开 FTP 传到服务器上,SSH 进去解压,改配置文件,重启服务,刷一下页面祈祷别 500。你复制,切窗口,粘贴到腾讯文档里,发现 Markdown 格式全乱了,手动调标题层级,代码块重新标记语言类型,表格散架了重排一遍。模型是越来越聪明了,但"生成"到"落地"之间那段路,还是你自己在走,一步一步,手动搬运。

QcloudCommunity的博客 608

4亿token买来5个教训:让6个AI Agent连写4天代码发生了什么?

Watchdog 检测到崩溃 → 启动诊断 Agent 分析原因 → 诊断 Agent 跑满 20 轮没搞定 → Watchdog 判定“已修复”,重启系统 → 重启的系统因为诊断 Agent 留下的环境变量被继承,连续 3 次拒绝启动 → 触发连续失败保护退出 → Watchdog 第 3 次巡检,发现进程和记录文件都没了,尝试手动重启,自己也停了。启动前我翻了论文、做了架构设计、写了监控+修复异常的脚本。这个发现让我的情绪从沮丧变成了兴奋——不是那种"终于修好了"的释然,是"我找到根因了"的快感。

QcloudCommunity的博客 584

赛博斗蛐蛐:9大模型决战三国志,天命在谁?

我猜是这样的,当Gemini面临决策的时候,一系列关键词比如 守城,劣势,粮草,三国等等,在语义层面的关联性中LLM发现了竖壁清野这个关键词概率非常高,所以以此为策略,然后再根据这个策略完美执行操作。MiMo 的外交是三方中最精明的。Kimi作为国产模型,也同样颠覆了我对他的看法,最后的比赛他甚至一度是优势者,存在很多夺冠的可能性,要知道他的对手可是claude和gemini,而他经常出兵慢,回过头来想想或许正是他的策略,毕竟中后期他的优势都来自于稳健的发展和较少的战斗频率(和claude比).

QcloudCommunity的博客 874

Claude Code是怎么知道你在骂他的?这 12 条发现值得关注

确实存在——5,500+ 行,集成了消息队列、工具装配、MCP 编排、会话状态、权限、分析、文件持久化和优雅关闭,基本上一个文件干了所有事。对抗虚假声明——"不要在输出显示失败时声称所有测试通过,不要压缩或简化失败的检查来制造绿色结果"。完整的 KAIROS 是一个持续驻留的守护进程,能感知你在不在电脑前、主动寻找有用的工作做,更像是住在终端里的全职同事。源码里藏着一个叫 "Buddy" 的电子宠物系统,完整度令人惊讶——这不是一个 TODO,而是一个从数值系统到 ASCII 动画都实现了的完整功能。

QcloudCommunity的博客 701

逆向深扒Claude Code源码,我发现了什么!?

Anthropic 内部用户获得更严格的质量控制 prompt、更好的验证机制(独立 Verification Agent)、以及针对 model 弱点的专门对策(如 Capybara v8 的 29-30% 错误声明率对策)。这不是代码混乱的标志——它是整个 Agent Loop 的心脏,所有的流式处理、工具调度、上下文压缩、子代理管理都在这个文件中协调。这种"胖核心"设计是刻意的:保持核心循环的原子性,避免分散到多个模块导致的协调复杂度。核心价值:Fork 代理的工具输出不会回到主代理的上下文窗口。

QcloudCommunity的博客 892

一文讲透如何构建Harness——六大组件全解析

本文将从"裸模型的四个硬伤"出发,逐一拆解 Harness 的六大组件——文件系统、Bash + 沙箱、记忆(AGENTS.md)、Web Search + MCP、上下文工程、编排 + Hooks——带你看清 AI Agent 真正的竞争壁垒,不在模型层,而在 Harness 层。如果你用过 Agent 做复杂任务,你一定有过这样的体验:一开始 Agent 的表现很好,但随着对话变长,它开始"变笨"——遗忘之前的约定,重复之前犯过的错误,甚至对同一个问题给出前后矛盾的回答。对于简单的问答场景,这无所谓。

QcloudCommunity的博客 761

Harness Engineering 来了,SDD 还有意义吗?

他们的解法是把「品味」编码进规则,然后用一个定期运行的「doc-gardening」Agent 自动扫描漂移、发起修复 PR——「技术债务就像一笔高息贷款,不断地以小额贷款的方式偿还,总比让债务不断累积要好」。代码仓库本地的、已版本化的工件,才是 Agent 所能看到的全部。在 Vibe Coding 模式下(即不做规划、随意向 AI 提需求的开发方式),大量设计决策、跨服务约定、「为什么不选另一个方案」的讨论,全部停留在一次性的 AI 对话里——下一个人,或者下一次 AI 会话,完全无从获取。

QcloudCommunity的博客 419

零废话!一文讲透从0构建AI Agent

每个工具都要写一套"定义→解析→执行"的胶水代码。上下文管理就是在"记住足够多"和"别超标"之间找平衡,常见策略包括滑动窗口、摘要压缩、RAG 检索增强。上下文窗口是 Agent 的"工作记忆",但它有硬性限制。LLM 负责"动脑"决策,代码负责"动手"执行。这是从"聊天机器人"进化到"Agent"的关键一步。每次调 API 都把完整对话历史发过去,LLM 本身是无状态的,"记忆"完全靠客户端的数组模拟。这样 Agent 一开始就知道自己"在哪里"、"手头有什么",不需要先花一轮工具调用去探索环境。

QcloudCommunity的博客 711

距离AI把小编我裁掉还有72小时

这是一个基于 OpenClaw 开源生态打造的本地化 AI Agent 助手,已于上周开启全量公测,无需复杂配置,三步即可上手,自带安全防护,支持微信直连绑定,内置多款优质国产大模型,现阶段也是完全免费使用,基本上前面提到过的痛点都可以靠它解决。对了,这里特别强调一点,上面的截图让产品同事汗流浃背,再三找我确认 QClaw 思考过程中优美的“草”字说法,不会是默认出现的吧?AI 好,AI 得学,但更重要的是,在你的工作和生活里,哪些东西是能结构化地被 AI 所接入的,不要死守着那些脏活累活不放。

QcloudCommunity的博客 674
上一篇: 如何优雅地把握 Serverless 和 Serverful 的平衡点?
下一篇: 系统如何设计才能更快地查询到数据?
腾讯云开发者
腾讯云开发者 企业官方账号 企业官方账号
博客等级 码龄10年 6291粉丝 1962原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值