叶聪:朋友圈背后的计算机视觉技术与应用

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~

本文由云加社区技术沙龙 发表于云+社区专栏

演讲嘉宾:叶聪,腾讯云AI和大数据中心高级研发工程师。在多年的云计算系统研发经历中,负责领导了多个百万级用户及产品的架构设计和开发。

img

AI要走进千家万户,融入整个社会,而不仅仅是曲高和寡的模型。所以现在非常讲究AI场景化,使它成为与产业相关的部分。

一、朋友圈爆款活动背后的技术

img

今天我会从朋友圈的一些爆款的互动活动作为切入点,带大家过一遍一些计算及视觉技术与应用,或者把AI技术产业化。我们经常在朋友圈会看到一些比较有趣的互动的活动,比如像军装照、武士青年这类活动视觉比较流行的应用,也是目前探索出来的计算机视觉能够最快来到大家身边的方式。以过去的五四青年节的活动为例,这个有趣的活动就应用了人脸检测与人脸检索的技术相结合。

上传一张照片最匹配民国时候有为青年的照片,做成这种页面供大家分享。这种模式最开始就是由腾讯开启,现已成为了整个行业应用的参考。除了这个活动,H5这类应用往往会出现用户访问爆发性的增长,为了应对这种突如其来的流量暴增,使用一整套云架构部署,而不是传统机房里面用几台服务器处理。比如像五四青年的活动,5万KPS的架构就有这样的承载能力。从个人角度想要做这样的应用,需要了解以下的基础知识。

二、计算机视觉定义

img

首先从计算机视觉的基本定义开始,学术角度来讲是研究如何让计算机从图像和视频中获取高级抽象的信息的一种方法。但我比较喜欢后面这种工程角度的解释,计算机视觉是可以使机器来模仿人类自动化。现在我们利用计算机视觉让整个流程更自动化,机器可以部分的代替人力去理解图片中的一些信息。计算机视觉还包含一些子分支,现在这个分支还会慢慢扩张,这个分类也在慢慢的扩大。主要包括物体识别、对象检测、语义分割、3D的重建,动作识别等等。

img

底下有几个比较常见的视觉应用,第一个是人脸识别;第二个是无人驾驶;第三个是语义分割。语义分割在人工智能这个领域还是比较常见的。一般指词性的分割,或者词的分割。图像分割里面的语义分割一般指的是把图像里面的不同类型的对象进行标注和区分。右边这张图就是个例子。这张图上基本上把人、路、车都用了不同的颜色标注。

提到机器视觉,首先就要知道机器是怎么去理解图片的?这里就要带入RGB-alpha 的一个算法。

顾名思义,就是红绿蓝三色,然后,alpha 是什么?如果大家在早期的时候玩过一些电脑硬件,你可能会发现,最早期的显卡是 24 位彩色,后来出现一个叫 32 位真彩色,都是彩色的,有什么不同吗?因为在计算机领域,我们用 8 位的二进制去表示一种颜色,红绿蓝加在一起就是 24 位,基本上我们把所有颜色都表示出来了。

三、曾经的图像处理——传统方法

img

首先聊一下一些传统的图像处理的方法。上面这几个滤波器如果有学图像相关的同学都会经常用到,包括空间滤波器、小波滤波器。如果对图像进行分类,我们肯定要提取图像中的一些特征,然后根据这些图像提取出的特征用算法进行一些分类,所以是两步走。

img

关于如何提取图像的特征,现在已经有很多比较成熟的方法。最容易想到的就是图像里面对象会有边缘。边缘就代表了图像的特点。除了边缘检测的方法还会有其他的特征,比如Haar特征。对象具有边缘、对角线、中心都可以利用这种黑白的对比图,标注出它灰度的变化,把刚才说的三种维度的信息组成一个集合,这样就可以提取图片的特征。

img

还有一个比较新的特征提取方法,就是2012年的时候康奈尔提出来的,利用一个图片里面对象的局部对称性来提取特征。左边这个图有不同形状的对象,右边这个图就把它的对称性理解为重心提取出来,图上越白色的地方代表对称性越强。这种算法优点是整个图形提取出的特征是比较有对称性。这样就容易把这个东西从背景里面提出来。

img

另外还有一些特征提法,比如SIFT,尺度不变特征。我先解释一下什么是尺度,我们看待一个东西,从远到近,越远它尺度越大,就说明这个东西相对我们越模糊,能观测到的特征点就少。随着靠近,看到的越多就能越发现一些特点。有些特点是不管远近都能辨识出来的,就认为是尺度不变的特征。

img

还有一种跟灰度有关的方法叫HOG方向梯度直方图,它也是利用灰度的原理,把整个图形分成很多块,描述里面灰度变化最小的或者最大的。一般选用最小的方向。好处是它计算起来的成本比较靠谱的,比如这张图上,人穿黑色的衣服,所以在黑色衣服上它的灰度变化最小一定是垂直的。到了旁边白色背景可能就是水平的。利用它这个HOG的梯度图的方向,很容易把这个人从背景中间区分出来。

img

聊了很多的Feature Design的方法,并不存在最优的。在图像分割和对象检测这个领域也有一些其他算法,例如非常有意思的分水岭算法,顾名思义是利用图像的灰度特性把图像整个灰度的曲线显示出来。假设往里面灌水,随着水越来越多,肯定会有两个相邻的山谷联通,在那里建一道坝,这些坝在图上来看就是紫色的曲线,这样就可以把对象里灰度不同的部分给分割出来。

img

ASM,中文名叫可变模板匹配,或者叫主观形状模型。对象检测的常用算法主观形状模型以人脸为标准,提取人脸上68个点,对这些点进行变换,然后去匹配目标。刚才聊了一些传统方法,随着近几年硬件性能的提升以及大数据的广泛的应用,让本来已经沉寂许久的深度学习算法变成了可行。深度学习这个名字是比较抽象,其实可以理解为深度比较高的神经网络,多重神经网络。这样会比较贴切。简单介绍一下神经网络,左边和右边两张图就是神经网络。一般谈及神经网络的,是不说输入层的,所以左边是两层神经网络,右边是三层。

四、图像处理的爆发——深度学习方法

img

下面有两个深度学习的网络,所谓的深度学习实际就是深度神经网络,叫深度神经网络大家更容易理解。左边那个是一个两层的神经网络,这里要解释一下,我们一般说神经网络的层数是不算输入层的。

输入层就是你输入信号的地方,将中间过程的结果进行汇总,若做分类它会把它进行归类的一层。这其中学过统计或者相关的同学都会用的逻辑回归很有意思传统的机器学习算法和深度学习算法很有关系。底下写了一行字(英文),这两者其实都是很特殊的单层神经网络,所以深度学习并不是遥不可及的,它的由来是很有逻辑性的,是从深度算法中间慢慢剥离出来的。说完简单的神经网络再来谈谈复杂的。在实际使用的时候,不一定是简单的一两层,很有可能是多层的。比如这个图上面至少有三层,实际上我们使用的神经网络是很复杂的。不是像上面这张图那么简单。除了刚才看到的哪些三角形或者金字塔形的神经网络,神经网络是有非常多种的,比如感知器,FF,RBF,使用的场景都不太一样。所以神经网络研究者往往会根据场景选不同的网络,对网络进行一些比较,有的时候也可以解决相似的问题。深度学习研究的方向跟传统学习的区别,可能在网络上会更加的铸磨,包括怎么调整中间多加一层,少加一层,在这个方向做一些测试。

img

在图像识别领域应用比较广的神经网络是CNN,即卷积神经网络。这个图上是一个非常标准的,或者说非常初级的CNN的网络,包括比如像卷积层,卷积层一般是用来做图像的特征学习的。最后会有一个全链接层,把所有前一层的数据进行全链接。自动做分类。这个想法其实来源于传统的机器学习,最后会有一个层去做分类。

img

在CNN之后非常聪明的科学家们就发现了很多可以更加优化的点,所以已经很少有人单纯用这个CNN做训练了。目前比较流行的做图像分割的还有很多基于 CNN 的新网络。比如在 CNN 基础上大家又加入了一个叫 Region Proposal Network 的东西,利用它们可以去优化传统 CNN 中间的一些数据的走向。Faster-RCNN 不是一蹴而就的,它是从RCNN中借鉴了 SPPNET 的一些特性,然后发明了 Fast-RCNN,又在 Fast-RCNN 的基础上进一步的优化变成了 Faster-RCNN。

img

即便到了Faster R-CNN这个领域也远远没有走到尽头。我们一直做对象检测的时候都是采用,要尽量的缩小范围的思路。每一个上面提到的算法都能找到一两篇非常好的论文,大家可以了解一下这个算法是怎么演变过来的。我们的目的是用分类的方法一次性把一个图片里面的信息全部理解,就出现了右边的算法。

img

接下来谈一下在有了一个模型算法以后,应如何做一些应用。讲几个腾讯云这边支持过的AI应用的例子。首先是五四青年的活动,它是解决图像匹配的一个活动。首先我们将民国时候的老照片作为训练数据,对它进行提取,和标注数据,对每个照片都进行标注,生成一个模型。大家在玩这个游戏的时候会传一张照片测试数据,等特征提取完,模型会返回一个它的分类,这个分数不是执行度,不可以完全参考。而是会选择一个分数最大的值返回到前端,生成一个页面,这就是整个流程。

img

第二个应用也比较流行:人脸融合的一个应用。类似军装照这类,原理上跟刚才的PPT有点类似,首先会对图像的人脸部分进行关键点的定位,将特征提取出来。因为角度也是会影响很多的匹配效果,所以要对图片进行一定程度的旋转,把它与模版图进行统一化。下一步将上传图片的人脸部分根据特征值抠出来。跟我们的模版图进行融合。由于上传的照片各种光线角度不完全一样,还要对图片进行一些优化,将光影、曲线调得比较平缓,这样就可以呈现一个非常好的效果。

img

这是我之前在斯坦福的时候做的一个项目,对图片的内容进行描述生成一个故事。我们做了一个模型是可以任意的帮助用户根据图片生成不同类型的故事。比如可以是浪漫小说,可以是科幻小说,不同的训练集可以根据情况调整大家想做一些自己项目的时候也可以像我们一样采用开源数据库。资源很多,不会成为大家研究的瓶颈。

五、解析云端AI能力支撑

img

聊过刚才的这些部分,背后是什么样的?如果我写了一个模型做了一个有趣的应用,是不是我就可以把它放到网上大家就可以玩了?其实不是这么简单。如果只是简单的让我们把它放到一个网站托管,为了支撑这么庞大的一个系统我们需要做些什么?应该采用云服务,尽量不在我们的物理集上部署。比如采用这个图里面提出的静态应用加速,虚拟机,对象储存,以及GPU云服务器加速我们出结果的速度。

img

整个系统里面用到了跨地域的负载均衡,弹性降级。上面提到的应用一般都会有短时间达到特别高的访问峰值,持续一段时间会有很快的回落。负载均衡会把一些机器释放掉降低成本。这是一整套的商业化的体系的运作。再介绍一下腾讯云人工智能目前的提供的服务领域,包括各种人脸合成,身份证识别,智能监控,人脸轧机还有智能语音方面上的:关键词搜索,语音合成等等。同时还有一些机器学习的平台可以帮助大家快速的去实现一些模型。同时还有大数据,可以做海量数据的数据挖掘。还有其他一些底层的服务,包括CPU等等。相当于像物理机,但是完全可以交给物理云去托管。

img

介绍一下人脸识别的例子。人脸识比较常见的几个应用,比如微信,人脸合成只需知道你的身份。可靠性高达99.5%。人脸检测又分静态与活体的检测,静态检测只是比对你的特征与库里面是否一致。但假设有人用一些视频或照片来攻击这个系统,可以采取包括以下几种模式的一整套活体检测的方法:一是让你读一段文字或者做一些动作,或者是屏幕用不同的光线去照射脸部,利用反射光的一些特点来对脸部做区分,3D建模,从而判断是视频还是真人。除此之外还可采用具有3D建模能力的摄像头,打一道光到人脸上,再将反射光收集起来。目前这些技术我们的这些技术都已比较成熟。

img

刚才讲的是1比1的人脸合成,除此之外还有用于大型场所管理的1:N的。大家如果有机会,如果去深圳可以去腾讯的滨海大厦参观一下,整套系统都是用这个搭建的。另外我们提供针对场景的云智智能视频管理平台。同时提供设备管理以及视频监控、对外接口等一整套服务。

img

再来说下文字OCR,后面冀博士会详细的介绍这部分。目前我们能使用的领域也非常广泛,包括名片识别,传单识别,快递单识别等等。到了技能进阶这个部分,很多人觉得做AI并不需要做算法,其实不然。首先从有想法到落地分非常多的环节。算法是非常重要的,只是相关性没有那么强。从AI算法的角度来讲,首先要打好数学基础,若想继续发展还需要积累一定的算法知识。同时锻炼自己对最新算法学术成果吸收能力,读论文实现算法,整套技能的提高。

这就要求在对算法一定要有了解的同时,要对算法有比较强的封装能力。有了一个算法怎样去封装,让它根据场景达到最优的效果。除此之外还可以做AI产品开发和应用,但这就要求对目标的AI应用场景比较了解。用户什么样,他们对于AI产品的需求是怎么样的,怎样打磨产品让他们可以简单的使用复杂的这些技术。这一整套其实都需要很多的思考。

六、技能进阶建议

img

如果我们在 AI 这个方向上想有所进步的话,我们应该怎么做?右边有一个金字塔,并不是说AI算法是它们的最高级。只是想表达如果想要做成这件事,需要的整个团队的大小,首先要有AI算法的专家,同时要有更多工程实践的人,然后还要有更多的产品开发人员把它打磨成产品。这点上来讲像亚马逊的公司做得就非常好,每次都会寻找一个场景然后去营造场景做AI,而不是单纯从技术角度出发。

算法研究方面我们要做什么?首先是要打好比较强的数学基础。因为机器学习中间大量的用到了比大学高等数学更复杂的数学知识,这些知识需要大家早做研究打好基础,这就需要读很多论文。同时还要锻炼自己对新的学术成果的理解和吸收能力,像刚才提到了一个神经网络图像的分类问题,实际上,短短的十年时间实现了那么多不同网络的进化,每一个新的网络提出了,甚至还没有发表,只是在预发表库里面,大家就要很快的去吸收理解它,想把它转化成可以运行的模型,这个是要反复锻炼的。

第二块是工程实现方面,如果想从事这方面首先要加强自己逻辑算法封装的能力,尽量锻炼自己对模型的训练和优化能力,这块会需要大家把一个设计好的算法给落实到代码上,不断的去调整优化实现最好的结果,这个过程也是需要反复磨炼的。

最后一个方向是产品应用,这个首先大家要有一定的开发能力,不管是移动开发还是 Web 开发,同时要提升自己 AI 产品场景的理解和应用。实际上很多AI产品跟传统的产品是有很大的理解上的区别,大家可能要更新自己的这种想法,多去看一些 AI 产品目前是怎么做的,有没有好的点子,多去试用体会。同时如果我们想把一个 AI 的模型变成百万级、千万级用户使用的流行产品,我们还需要有系统构建能力和优化能力。

img

所以在这三个领域都可以思考。关于怎么去学习计算机视觉的一些知识,这里有一些资料。首先斯坦福大学的一些课程是非常好的,可以利用这个作为切入点,把关键的知识点搞懂。如果不喜欢看电脑的话也可以看其他的几本书。都是我觉得不错的不同的作者写的书。右边是一些比较常见的,每天都会用到。底层还有一些打包好的更高级的书。

Q&A

Q:在视觉这块的话前期讲过焦躁问题。如果是人为的加入噪音的话,处理的话是不是特别麻烦?它的效果和原对比有什么区别?

A:降噪其实是一个很复杂的问题,就像你说的这种情况,如果噪音不是自然噪音,是手动添加噪音,你要找它的模式才能去比较有针对性的调整,我没有对这块有特别深的研究。我的感觉是你可以用一些深度学习比较发达,利用深度学习的模型去做。比如去马赛克这块,打造马赛克的一些照片,利用深度学习算法就能恢复到原照片,或者把一些第一分辨率的照片变成高分辨率的。

Q:我想请问的问题是,PPT中关于多模态识别那一块,现在无论是无人驾驶还是多模态识别都是有(英文)融入到图片当中,我就想问一下这块有那些工作是可以做的?比如说一个图片里面一个男的和女的,男的拿着戒指,这是个求婚的场景。从图片中的内容里面它是体现不了特征信息的,就是关于这块的。

A:由于这个图片它可能主要的内容不是那么明显,其实这难点是在于语义识别这块。你要能提取戒指这个关键词可能跟什么有关。这就变成自然语言识别这块的事了,应该有一个词库,可能去做搜索。所以这块我觉得难点不在于图像而在于后续。

问答

AI开发的语言要求是什么?

相关阅读

冀永楠:OCR的应用锦集及背后技术

吴琛:智慧工地——履约考勤系统的应用实践

江铖:乳腺癌识别By AI

此文已由作者授权腾讯云+社区发布,原文链接:https://cloud.tencent.com/developer/article/1183692?fromSource=waitui

搜索关注公众号「云加社区」,第一时间获取技术干货,关注后回复1024 送你一份技术课程大礼包!

海量技术实践经验,尽在云加社区!

相关推荐

大模型的Agent Skill功能,在LLM HTTP底层交互流中是怎么承载的?

网络文章文本的 skill,昨天我实现了之后也就开始好奇起 Skills 的底层原理了——相比起各种花里胡哨的 agrnt 应用,我一直以来都很对大模型在纯粹的 HTTP 交互层面是如何交互的更感兴趣。Skill 的全部"魔法"都发生在 system prompt 的措辞和 SKILL.md 文件的编写质量上——本质上是一种 prompt engineering + 文件系统的组合。但是各种天花乱坠的 skills,是如何在底层的 HTTP 中,与大模型——这个只会嘴遁的工具交互的呢?

QcloudCommunity的博客 407

万字入门AI Infra:深入理解大模型中的数学与Infra优化

关注腾讯云开发者,一手技术干货提前解锁👇AI Infra科普、入门或者进阶 ~~ 不到 5 万字,带你融会贯通理解大模型的数学、算法、硬件到系统工程。任何问题欢迎沟通交流。可怕,我竟然有点认同这句话。当然大概率是因为姚顺宇太懂AI了,而我则是因为无知者无畏。不过仔细想想,大模型推理中的数学逻辑确实不复杂,很多原理只需要高中数学知识就能看懂。但是为什么像 vLLM 这种推理系统这么复杂呢?本文将拆解大模型中几个核心操作(RMSNorm、Softmax、Causal Mask、Sampling)背后的数学与

QcloudCommunity的博客 1168

平平无奇的源码,竟藏着Agent的核心秘密?

System Prompt 是剧本,Skill 是剧本的扩展包,Agent Loop 是演员按剧本行动。欢迎留言,我们将邀请作者针对性回复你的评论,我们将选取1则优质的评论,送出腾讯云定制文件袋套装。,让 Agent 能主动"巡逻",而不只是被动等待用户消息。OpenClaw 的 System Prompt 分层结构。的"行为底线",任何 Skill 或用户命令都无法覆盖它。精华 2:Skill 的"按需加载"避免 token 浪费。精华 1:System Prompt 是"分层乐高积木"

QcloudCommunity的博客 426

QQ音乐Harness Engineering实践

一个看似简单的需求,背后可能牵动服务调用链、配置、灰度、埋点、错误码、接口契约和历史兼容性。当 AI 开始快速生成大量代码,真正的瓶颈就不再是"写不出来",而是"看不完、想不清、管不住"。在对话式编码阶段,一种典型的工作模式逐渐流行:开发者把需求丢给 AI,扫一眼输出"看起来对"就直接采纳,不审 diff、不追问逻辑、不验证边界。以音乐商业化业务为例,一个需求可能从 TAPD 单开始,经过需求评审、技术方案、服务影响面分析、IDL 契约变更、业务代码实现、测试验证、CR、灰度上线,最后才进入稳定运行。

QcloudCommunity的博客 715

从Prompt、Context到Harness,工程的三次进化与终局之战

同时,强制要求散落各处的决策记录(Slack、邮件、文档)全部迁移至代码仓库,确保 Agent 的唯一信息来源是可信的、版本受控的仓库。更坑爹的是,研究表明,当上下文过长时,模型会出现"中间遗忘(Lost in the Middle)"现象:它对开头和结尾的内容记忆较好,对中间大段内容的关注度大幅下降。这篇文章,我想带你完整走一遍这三次进化的逻辑:它们分别解决了什么问题,它们之间是什么关系,它们的边界在哪里,以及:当三者融合,AI 工程师的终极形态究竟是什么?大语言模型的本质,就是这位金鱼助理。

QcloudCommunity的博客 719

让Skill自己训练自己:8阶段Loop、3层评测、5维AND门控,从此实现自进化

所以每一轮改动都是有据可查的,不是「感觉这里可以优化」,而是「Case 41 挂了,因为 agent 把离职问题路由到了邮箱分类,但正确答案在通讯录,所以我改 root_index.md 加个易混淆提示」。但让我最后决定把它记录下来的,不是这的个「吸收」过程,而是它真的在替我探索我不想费脑力触达的边界,这看起来更像是一个机器智能应该有的样子。不准跨层,每轮只改一层的东西。但我经过这 19 轮之后觉得,更准确的描述是互补——你在明处看着,AI 在暗处替你试错,你看不见的那一半就是 AI 能贡献的地方。

QcloudCommunity的博客 1127

只加两行代码,为什么要两天?一文深度理解业务系统的复杂性

关注腾讯云开发者,一手技术干货提前解锁👇业务系统复杂性一直是令开发者头痛的问题。复杂的不是增加一个需求需要耗费多少时间,而是在增加一个需求后带来的蝴蝶效应:其它功能会不会受到影响、要如何去找到这些影响,最终如何实现系统正常运行......功能之间隐秘增加的耦合、不可避免的代码腐化在导致业务复杂性增加。大家都在说的软件开发提效到底在提什么?程序员日常工作中应该如何提升开发效率?敏捷开发、瀑布流式开发孰是孰非?欢迎阅读。业务背景与目标我依然非常清晰地记得某个时候,我所在团队 Leader 曾讲过一段话:“我担

QcloudCommunity的博客 713

从零设计生产级 Multi-Agent Harness:架构、评估、记忆、成本与 MCP 工具接入全拆解

在 AI Agent 领域,Multi-Agent Harness 指的是把多个 Agent 的能力、工具、状态、通信、编排、监控统一收束在一个运行时之内的框架。第三,Agent 路由。一个输入框,一个大模型,几个工具,一段写得很漂亮的 System Prompt,再配上一个炫酷的前端,看起来就像一个能干活的“数字员工”。Multi-Agent 完全不一样——它有计划、有中间步骤、有工具调用、有 Agent 协作、有重试、有反思、有最终合成。增加 Budget、权限、重试、压缩、轨迹评估、审计、回归测试。

QcloudCommunity的博客 710

拆完Hermes源码,我发现Agent的“自我进化“根本不需要训练模型

两个月 5.2 万 Star,Hermes Agent 用一个"LLM 审判官"机制实现了 Agent 的自我进化——不改模型权重,只改"怎么用模型"的策略。OpenClaw(社区昵称"龙虾"🦞)是 2025-2026 年最火的开源 Agent 框架,30 万+ Star,插件市场 ClawHub 里有数千个插件,能接入 Telegram、WhatsApp、Slack、飞书、企业微信——几乎是一个"个人 AI 操作系统"。Skill 是英语写的,Memory 是英语写的,审查 Prompt 也是英语写的。

QcloudCommunity的博客 910

AI Infra 其实没有多少新东西

传统 Infra 追求横向扩展,而 AI Infra 呈现 “AI 大型机”特性,是因为传统后台服务的可以容忍毫秒级延迟,但 AI 集群不行,GPU 的算力是 CPU 的数百倍,微秒级的延时等待也会造成很大的算力损耗,需要硬件的高度集成。在可预见的1-3年的未来,这样的专用硬件+网络的集中式架构很难发生比较大的改变。与之相似,模型推理的批处理就是将多个输入样本打包(batch),将原本串行的 N 次轻量的推理计算,合并为 1 次重量的计算,实现单位时间内处理更多的请求,提高了 GPU 利用率。

QcloudCommunity的博客 826

程序员越早想通这些越好

永远没有正确架构,你永远无法偿还完所有的技术债务,如同你永远不会设计出完美的界面,请避开完美主义的陷阱,永远没有完美的代码,能够满足当前需求,又为未来不管是自己还是他人留有扩展空间,就很好了。我们努力的方向就是将现实世界映射到有限的数据结构中,这就需要用户自定义类型,如果你的代码中包含类似 trader portfolio 这样的概念,你就可以使用他们的名称来建模,而不是使用基本数据类型复杂嵌套表述你的目的。从另一个角度看,代码里的注释都是补丁,是碎片化的,局部的注释很难推导模块整体的顺序及耦合关系。

QcloudCommunity的博客 466

RAG已死?不,是Grep回归了!

这样一来可以直接复用已有的计算缓存,只为新增的增量部分付全价,前面累积的大头按约 1/10 的缓存价计费。所以实际的工具组合方式是灵活的:Grep(默认模式)→ Read 是最常见的路径,但 Grep(content 模式)可以独立使用,LLM 也可以直接调 Read(如果已经知道文件路径),或者一次同时发起多个 Grep 并行搜索。它从零开始构建自己的对话历史,不继承主对话的消息,这意味着它搜索过程中产生的大量 grep 结果、代码片段都留在自己的 context 里,主对话只收到一段总结性的文本结论。

QcloudCommunity的博客 576

深入浅出Harness Engineerring之核心模式与理念

在智能体生命周期的关键节点(如会话开始、工具调用后)自动触发预设动作(如代码格式化),由系统确保关键流程被执行,不依赖可能被模型遗忘的指令。简单讲就是利用向量存储这个技术,来实现模糊检索,原理是:即使字面不同,但语义相近的文本,其向量在数学空间中的位置也很接近。根据命令类型、参数和影响,自动评估其风险等级(安全、有风险、危险),并采取自动执行、请求确认或直接拦截等不同策略。关键特性是可隔离、可重建、可扩展。不是一次判断就定终身,允许你改变、允许情况复杂,通过不断观察、思考、调整,越来越懂真实的你。

QcloudCommunity的博客 624

Harness Engineering实践心得:如何高效驾驭AI?

但如果这些经验被拆成一条条 Rule、一个个 Skill、一项项 Script 检查——"XAML 不能有中文"、"编译要用这个路径的 MSBuild"、"SVN 命令必须带认证参数"——AI 就能在秒级时间里"吸收"十年的踩坑经验。然后可以看到下方的图,我的PM会很顺利的调度其他agent分别负责不同的事项,遇到问题的时候也能准确的找到合适的agent。MCP 本质上是在扩展 AI 的"感知范围"——Rule 管"该怎么做",Skill 管"怎么操作",MCP 管"能看到什么、能碰到什么"。

QcloudCommunity的博客 843

从第一性原理思考 Agentic Engineering

需要注意的是,这一结论是有条件的:如果 AI 缺乏领域知识,过早介入反而可能引入 1.2 节所述的"似是而非"损耗——因此上下文供给(实践 1)是 AI 全链条参与的前提,而非结果。通过一个专门的自迭代 Skill 实现——当 AI 在协作过程中识别到自己被纠正(用户否定了 AI 的输出并给出了正确方向),它自动评估这个错误的根因,搜索现有的 Rules 和 Skills 中是否已有针对该类问题的处理规则。事实上,越是复杂的项目,工程师的认知负担越重(公理 3),AI 分担认知负担的潜在边际价值也越大。

QcloudCommunity的博客 757

万字干货!Harness Engineering如何工程化落地?

关注腾讯云开发者,一手技术干货提前解锁👇Harness Engineering 的概念已经火了有一阵了,全网很多文章基本都是在讲理念,讲为什么今天做 AI 开发,不能只靠一段提示词,也不能把模型当一个“更聪明的代码补全”。但与此同时,一个问题也在持续地发酵:这个问题特别重要。因为 Harness 这个词听上去很大,很像一个抽象的方法论,但它如果不能落到工程、目录、文档、脚本、工作流里,那它最后就只是一句漂亮的话。事实上,不同项目落地出来的 Harness,表面上可能完全不一样。有的项目是 CI 很强,有的

QcloudCommunity的博客 1170

全方位对比:Hermes VS OpenClaw

多账号矩阵运营 如果你的业务涉及同时管理多个社交媒体账号、多个平台的内容分发、多渠道的客户互动——OpenClaw是目前市场上的"无可替代的底座"。一个有专业背景的个人,现在可以快速构建一个垂直领域的AI助手:比如"财务分析Hermes"、"法律咨询Hermes"、"技术架构Hermes",直接通过微信提供服务,积累自己的专业IP。跨平台生态融合 如果你的工作流涉及飞书、Slack、Discord等多个平台的深度集成,需要这些平台之间的数据流转和联动——OpenClaw的生态支持是强大的。

QcloudCommunity的博客 1217

一文讲透:Harness Engineering即控制论!

而研发模式的升级我认为将会是一个飞跃的过程,之所以现在我们仍然需要需要参与编码,一个非常大的原因就是缺乏传感器和基建,仍然需要人来串流程,比如需要人来验证UI是否正确、需要人来告诉AI代码不符合代码规范,因此在有些场景我们仍然感觉 AI 完成的很吃力,但这不是 AI 能力不行,而是我们并没有为 AI 提供友好的环境……控制论中的突变理论介绍了矫枉过正和飞跃现象之间的矛盾,如果质变中经历的中间过渡态是不稳定的,那么他就是一个飞跃的过程,如果中间过渡态是稳定的,那么他就是一个渐变的过程。但是这些阶段要解决的。

QcloudCommunity的博客 1204

神级开源插件!一句话让QClaw变3D小镇,Agent工作可视化,赛博云监工

这个架构是翻了几次车才想通的—原有AI的实现机制是用 setTimeout 猜动画时长导致了幽灵 NPC、工位撞车、越改越崩,后面我停下来换了思路,推翻原有的架构,按照“意图+回传”的架构进行重构,之前的问题一次性全部解决。15 天,我和 AI 吵了 185 次架, 4.5 万行代码,开发了一款 QClaw / OpenClaw 的UGC游戏插件,这可能是人类跟 Agents 交互的新范式,插件已完全开源,有需要的欢迎自取~我天天用,用着用着我就在思考,Agent 产品现在的交互体验,基本都一个样。

QcloudCommunity的博客 1197

一文搞懂Hermes:新顶流Agent如何从经验中自我进化

Voyager 是一个能在 Minecraft 中自主探索、学习技能、无限积累能力的 AI Agent,它提出了 "Skill Library"(技能库)的概念——Agent 将成功的行为序列编码为可复用的技能函数,存储在一个持续增长的代码库中。如果 Skill 的名称和描述不够精准,或者用户的任务描述与 Skill 的触发条件有语义差距,Agent 可能会错过相关的 Skill。如果进程在写入过程中崩溃,目标文件要么是旧内容(还没被替换),要么是新内容(替换已完成),绝不会出现写了一半的损坏文件。

QcloudCommunity的博客 2636

自掏腰包一万元,拥抱AI这一年,我的工具、实践和思考

其实也很好理解,过往的每个领域(比如前端、后端、设计、测试等等)都主要是这个领域的从业者在为它添砖加瓦,但是大模型时代的 AI 应用领域却几乎是所有使用 AI 的人类一起在迭代,无分领域,无分文理,无分老少。因为每个时期的 AI 都有着不同的特点,很多时候当我费尽心思去钻研,自以为有点弄明白 AI 应该怎么玩的时候,基座模型和行业范式常常就会迎来颠覆式的变革,很多过往的经验都会倾覆,然后只能从头再来。过去一年多,被热议的 AI 范式大概是沿着四个阶段递进演化,每一个阶段其实都在解决前一个阶段的核心问题。

QcloudCommunity的博客 627

办公Agent的CI/CD时刻到来了

核心观点是:企业给员工配了一堆 AI 工具,试点跑了几百个,但真正拖慢 AI 转型速度的瓶颈不在模型能力,在"最后一公里":AI 输出和实际工作流之间的那道鸿沟。代码写完,打个 tar 包,开 FTP 传到服务器上,SSH 进去解压,改配置文件,重启服务,刷一下页面祈祷别 500。你复制,切窗口,粘贴到腾讯文档里,发现 Markdown 格式全乱了,手动调标题层级,代码块重新标记语言类型,表格散架了重排一遍。模型是越来越聪明了,但"生成"到"落地"之间那段路,还是你自己在走,一步一步,手动搬运。

QcloudCommunity的博客 608

4亿token买来5个教训:让6个AI Agent连写4天代码发生了什么?

Watchdog 检测到崩溃 → 启动诊断 Agent 分析原因 → 诊断 Agent 跑满 20 轮没搞定 → Watchdog 判定“已修复”,重启系统 → 重启的系统因为诊断 Agent 留下的环境变量被继承,连续 3 次拒绝启动 → 触发连续失败保护退出 → Watchdog 第 3 次巡检,发现进程和记录文件都没了,尝试手动重启,自己也停了。启动前我翻了论文、做了架构设计、写了监控+修复异常的脚本。这个发现让我的情绪从沮丧变成了兴奋——不是那种"终于修好了"的释然,是"我找到根因了"的快感。

QcloudCommunity的博客 584

赛博斗蛐蛐:9大模型决战三国志,天命在谁?

我猜是这样的,当Gemini面临决策的时候,一系列关键词比如 守城,劣势,粮草,三国等等,在语义层面的关联性中LLM发现了竖壁清野这个关键词概率非常高,所以以此为策略,然后再根据这个策略完美执行操作。MiMo 的外交是三方中最精明的。Kimi作为国产模型,也同样颠覆了我对他的看法,最后的比赛他甚至一度是优势者,存在很多夺冠的可能性,要知道他的对手可是claude和gemini,而他经常出兵慢,回过头来想想或许正是他的策略,毕竟中后期他的优势都来自于稳健的发展和较少的战斗频率(和claude比).

QcloudCommunity的博客 874

Claude Code是怎么知道你在骂他的?这 12 条发现值得关注

确实存在——5,500+ 行,集成了消息队列、工具装配、MCP 编排、会话状态、权限、分析、文件持久化和优雅关闭,基本上一个文件干了所有事。对抗虚假声明——"不要在输出显示失败时声称所有测试通过,不要压缩或简化失败的检查来制造绿色结果"。完整的 KAIROS 是一个持续驻留的守护进程,能感知你在不在电脑前、主动寻找有用的工作做,更像是住在终端里的全职同事。源码里藏着一个叫 "Buddy" 的电子宠物系统,完整度令人惊讶——这不是一个 TODO,而是一个从数值系统到 ASCII 动画都实现了的完整功能。

QcloudCommunity的博客 701

逆向深扒Claude Code源码,我发现了什么!?

Anthropic 内部用户获得更严格的质量控制 prompt、更好的验证机制(独立 Verification Agent)、以及针对 model 弱点的专门对策(如 Capybara v8 的 29-30% 错误声明率对策)。这不是代码混乱的标志——它是整个 Agent Loop 的心脏,所有的流式处理、工具调度、上下文压缩、子代理管理都在这个文件中协调。这种"胖核心"设计是刻意的:保持核心循环的原子性,避免分散到多个模块导致的协调复杂度。核心价值:Fork 代理的工具输出不会回到主代理的上下文窗口。

QcloudCommunity的博客 892

一文讲透如何构建Harness——六大组件全解析

本文将从"裸模型的四个硬伤"出发,逐一拆解 Harness 的六大组件——文件系统、Bash + 沙箱、记忆(AGENTS.md)、Web Search + MCP、上下文工程、编排 + Hooks——带你看清 AI Agent 真正的竞争壁垒,不在模型层,而在 Harness 层。如果你用过 Agent 做复杂任务,你一定有过这样的体验:一开始 Agent 的表现很好,但随着对话变长,它开始"变笨"——遗忘之前的约定,重复之前犯过的错误,甚至对同一个问题给出前后矛盾的回答。对于简单的问答场景,这无所谓。

QcloudCommunity的博客 761

Harness Engineering 来了,SDD 还有意义吗?

他们的解法是把「品味」编码进规则,然后用一个定期运行的「doc-gardening」Agent 自动扫描漂移、发起修复 PR——「技术债务就像一笔高息贷款,不断地以小额贷款的方式偿还,总比让债务不断累积要好」。代码仓库本地的、已版本化的工件,才是 Agent 所能看到的全部。在 Vibe Coding 模式下(即不做规划、随意向 AI 提需求的开发方式),大量设计决策、跨服务约定、「为什么不选另一个方案」的讨论,全部停留在一次性的 AI 对话里——下一个人,或者下一次 AI 会话,完全无从获取。

QcloudCommunity的博客 419

零废话!一文讲透从0构建AI Agent

每个工具都要写一套"定义→解析→执行"的胶水代码。上下文管理就是在"记住足够多"和"别超标"之间找平衡,常见策略包括滑动窗口、摘要压缩、RAG 检索增强。上下文窗口是 Agent 的"工作记忆",但它有硬性限制。LLM 负责"动脑"决策,代码负责"动手"执行。这是从"聊天机器人"进化到"Agent"的关键一步。每次调 API 都把完整对话历史发过去,LLM 本身是无状态的,"记忆"完全靠客户端的数组模拟。这样 Agent 一开始就知道自己"在哪里"、"手头有什么",不需要先花一轮工具调用去探索环境。

QcloudCommunity的博客 711

距离AI把小编我裁掉还有72小时

这是一个基于 OpenClaw 开源生态打造的本地化 AI Agent 助手,已于上周开启全量公测,无需复杂配置,三步即可上手,自带安全防护,支持微信直连绑定,内置多款优质国产大模型,现阶段也是完全免费使用,基本上前面提到过的痛点都可以靠它解决。对了,这里特别强调一点,上面的截图让产品同事汗流浃背,再三找我确认 QClaw 思考过程中优美的“草”字说法,不会是默认出现的吧?AI 好,AI 得学,但更重要的是,在你的工作和生活里,哪些东西是能结构化地被 AI 所接入的,不要死守着那些脏活累活不放。

QcloudCommunity的博客 674
上一篇: Redis云端架构深入浅出
下一篇: 微信小游戏流水过亿,爆款背后有哪些技术秘密?
腾讯云开发者
腾讯云开发者 企业官方账号 企业官方账号
博客等级 码龄10年 6291粉丝 1962原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值