冀永楠:OCR的应用锦集及背后技术

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~

本文由云加社区技术沙龙 发表于云+社区专栏

演讲嘉宾:冀永楠,现为腾讯云大数据AI产品中心高级研究员。负责了腾讯云与华星光电等多个图像AI项目。

img7.28冀永楠OCR的应用集锦及背后技术-01.jpg

今天分享的主要是OCR的部分。分享腾讯云在OCR上做的一些工作,以及腾讯云目前在云上面开放的OCR的一些服务。OCR简单来说就是让机器能看懂写的文字。我们手写的文字比较复杂,什么样子的都有。印刷的文字稍微简单一点,但也同样具有复杂性。今天主要讲的就是这种复杂性,这种服务在日常生活或者工程中遇到不同情况所产生如何处理这些复杂性的能力。

img7.28冀永楠OCR的应用集锦及背后技术-04.jpg

这里分享两个做过的例子。身份证相对来讲很格式化、比较简单东西,可以明确知晓在哪里找到怎样的文字信息。后一个是医院的检查报告,医院的检查报告相对而言复杂一点,它的复杂度在于不只是处理一个医院的一种检查报告,而是需要把不同的医院的检查报告全部做统一处理。这就增加了很大的难度。

img7.28冀永楠OCR的应用集锦及背后技术-05.jpg

在做正式的介绍之前,先说一说关于OCR的历史。OCR历史回溯起来还是很久远的,最早在六七十年代就有过实际的应用。大家都写过信,邮编号码在信封的左上角。这就是最早的OCR的应用。这种技术被使用在了一个非常窄的场景里面,只是要求把填在空格里的数字稳定的有效的检索、识别出来。当时的识别概率能达到92%-93%。这解决一个很大的问题,当时邮寄信都是通过识别码来进行投递的。

这个应用场景后来直接导致了2013年MINST的一个诞生。所有的框架都将它作为例子。它就是来源于这种最早的应用。一些复印机,扫描仪厂商,例如,东芝,佳能、富士通等希望将这项技术应用于扫描仪里面的文字转化成电子文字,便于客户存档。在PDF里面也用到这种技术。

时间到了2015年的时候,谷歌云盘里所有的文件免费提供OCR的服务。即便是提供免费服务仍是一种窄场景,只能使用在Google Doc存储的文件。到今年的5月23日,腾讯云公布了OCR免费接入,以及其它很多AI类的图像应用免费接入。这就意味着可以用手机移动终端或者任何的终端设备采集一些文字的图片后上传到云进行解析。

img7.28冀永楠OCR的应用集锦及背后技术-06.jpg

我用两个维度来描述OCR的应用。一个维度是标明它是一种表格式的OCR还是通用式的OCR。所谓表格式的OCR比较好理解,就是说要识别的这个东西里面是一种表格制式的,它有特定的规格,什么位置写在什么内容。通用OCR的话就没有这种要求,随便拍一张照片里任何的文字都需要提取出来,并且告知那个文字或者那段文字在哪里。这是一个维度。另外一个维度是印刷体维度和手写体维度。这个比较好理解,但是有很多的应用里面也是处于交界的位置上。手写为和印刷体还有一个交界是因为很多印刷体本身并不是一个非常常用的印刷体。而且可以设计成类似于花体字或者写得比较随意一点。比如说招牌,王老吉或者天津狗不理包子。本身的字体并不是常见的字体,可以算是手写体偏印刷体一点。

OCR难度肯定是表格式的会要容易一些。通用式的是要困难一些。同样手写体要困难一些,印刷体要简单一些,那么这个坐标系里面右下角的就是比较难的应用,左上角就是会稍微简单一点。有任何的OCR实际场景应用的时候,我们经常拜访客户。客户提出要解决某个问题的需求的时候,如果这个落到右下角的话就会比较难。如果落在左上角的话会比较容易解决一些。

img7.28冀永楠OCR的应用集锦及背后技术-07.jpg

我们现在腾讯云提供的印刷体的服务基本上都是这些,常用的是通用OCR。往腾讯云里面发一张图片,他会把这个图片里面所有可识别的印刷体的文字全返回出来,并告诉你这个印刷体的文字在这个图片里的位置。除此之外还有一些证件类的,比如驾照、车牌、银行卡、名片等等这些,稍后会逐一的介绍这方面的应用。现在用这四个特征来描述我们的服务,第一我们要求服务是准确的;另外要求我们的服务是完备的,就是说能识别英文也能识别中文,也能识别字符。我们现在可以识别一部分的少数民族文字。英文也是没有问题,其他的文字现在也逐渐的往外拓展一个一个的加到我们的范围里面。

img7.28冀永楠OCR的应用集锦及背后技术-08.jpg

快速这个特性是很多的应用场景中所要求的,我们的OCR在GPU运行是毫秒级的。在CPU的话时间要长一点。还有就是鲁棒性的问题。在手写体的识别方面我们主要的应用比如手写的备忘,像早期诺基亚有一款可以写字并识别出来。现在所有的手机里面都有这种功能。还有一些业务量较大的单据,如运单。这类业务我们是第一家将手写体应用在实际场景中的。数字的识别率高达90%以上。单字的识别率在15毫秒以内,复杂汉字超过80%。

img7.28冀永楠OCR的应用集锦及背后技术-09.jpg

手写OCR强调;数字的准确率主要原因是因为手写体识别大部分都用在银行业和数字相关的行业。无论你写的地址还是写一张支票,那么数字都是最重要的部分。所以我们非常强调这个数字的准确率。腾讯云的OCR服务在权威测评中也得到了非常好的成绩。在2015年的时候取得了排名第一。ICDAR是一个国际文档与识别大会,它是一个比较权威的在OCR方面的一个会议,每两年举办一次。大家如果有兴趣做一些OCR的实验或者做一些OCR的这种技术性的开发,可以去ICDAR上面找一些对比的方法。

OCR技术本身的挑战有这样几点:一个指拍出来的图像。众所周知所有的图像类的AI第一步都是获取图像。要不然的话怎么分析呢?那么图像拿过来的时候就会产生很多的问题,比如说你所用数据的采集,摄像头等成像的仪器不一样,成像的场景不一样。还有要求可能也不一样。

img7.28冀永楠OCR的应用集锦及背后技术-10.jpg

OCR是应用很广泛的一项技术,实际场景中会遇到一种文字倾斜、模糊等等的情况。这是一个技术上的挑战。还有一个就是说语言文字本身,最简单是英文OCR。一般来讲中文稍微简单一点。中文繁体字、手写字,国内少数民族文字等使用场景因为数据来源少,场景复杂难度有所增加。

文字大小不一以及文本背景复杂。主要是取决于场景,基本上所有常用的OCR识别步骤都是这样子的:先做一个版面分析,即确定场景。根据版面分析大概明确了正在分析的是什么(驾照、行驶证或发票等)。进而将下一步的步骤简化到比较简单的环境里,这样有助于提高分析的结果,并且能够快速的分析出答案。

下面是文字检测,以及文字识别。在此之后会有后处理,后处理根据一些语义和环境来把识别出来的错误纠正过来。例如:咖灰,咖后面不可能加一个灰,一般都是咖啡。在使用深度学习网络技术做OCR时,并不是一步一步进行,而是一个网络里面的一个模块和一个模块对应的这种功能。但是整个的流程仍然是这样逻辑的流程。

img7.28冀永楠OCR的应用集锦及背后技术-11.jpg

OCR技术本身的发展可以说是分为了三个阶段。最早的时候不用检测,就像上文讲的信封上数字的识别,不需要做检测。直接使用分类器就可以。早期的技术就是对图像做一些特征提取,后面加上分类器,比较成熟的比如有SVM,能直接得到的分类结果。但在当时应用场景很窄。之后场景扩展:先识别文字的位置然后再把这些文字进行一块一块的切。切到小图像之后再回归原来的过程进行识别。

这种方法存在一个很大的问题就是你前面切的话,后面的误差会累积。再后来有了深度学习这项技术,就开始有端到端的模型。现在大部分学术界里面研究发表的论文都是基于CNN和RNN网络结构的。CNN的作用是图像特征提取,RNN做文字序列的识别。尽管网络结构有很多的变形,但它背后的逻辑仍然和原来的没有太大的变化:都是先从图像上面提取一部分特征,再将图像上的特征对应到文字上。CNN是最常用的一种提取图像的特征的方式所以CNN+RNN这种网络结构处理图像,最后图像产生一系列文字的特征,最后形成文字的过程。

Attention机制最大的优点在于识别当前的字或词的时候,会考虑到它前后哪些字对这个字有影响。那么在原来没有这个之前一般认为,所有的影响都是一样的。因为存在一定连贯性,每个字(词)都与其上下文存在联系。考虑到这种关系就要对整体的模型和识别率进行提升。同时不同语言里面的联系也有不同,这也为语言的研究也提供了一定的信息。

img7.28冀永楠OCR的应用集锦及背后技术-12.jpg

这张PPT对应了刚才所讲传统的OCR的流程,先将图片获取进行二制化,来提出可能是文字的部分。再去分割这些字,把这些字分割成一块一块,再将这些一块一块小的图片放到分类器里面来识别这些文字是什么字符。进行字符串汇总之后还会进行自然语言处理的修正,最后反馈正确的结果。目前腾讯云基本上已经不采用这种传统的方式,而是以端到端的方式为主,那么除了端到端的方式根据不同的场景应用,已经产生了一套类似工具集的方法。对于不同的应用场景,只需从工具集里找出最为适配这个场景的工具或者模块,再将它们串起来进行调优,最后形成了整体识别的模型。

接下来先给大家介绍一下腾讯云上的服务,再介绍一下我们做过的一些综合类应用。这两者的差别在于云服务本身具有一定的通用性,基本上每个人都可以在腾讯云申请一个账号,通过标准的API发送图片等等。项目更多是定制化解决一个具体问题的。我们就会根据具体的问题和它产生的流程来开发一套系统或者流程来配合它的实际业务,来提高他们的生产效率。

img7.28冀永楠OCR的应用集锦及背后技术-14.jpg

身份证识可以说是目前最火的识别项目。很早在我们去酒店住店的时候就有一个叫做人证合一的认证过程,在没有人工智能之前就有这种过程。去酒店住店,前台将身份证号输入到电脑发送至公安授权的某数据库的远程服务器上,之后服务器会返回一张身份证照片,服务员会看这个照片跟你本人是不是一个人,验证完毕你就可以住店了。

现在的技术发展到顾客把自己的身份证插到一个读卡器里,它会把这个身份证信息发到身份数据库里面把照片返还回来,并通过摄像头拍摄脸部信息,将拍摄信息与身份证直接对比。目前这项技术不只是用于住店,包括乘坐高铁等,安保人证票合一等场景里已经应用得越来越多。

img7.28冀永楠OCR的应用集锦及背后技术-15.jpg

名片识别是介于格式化和非格式化通用之间的一种。因为名片它所包含的信息是一定的,总会包含姓名包含工作地点,包括电话号码这些。其所采用的字体各方面也比较恒定,所以说是格式化的。偏向通用是因为各部分内容的位置是不一定的。比如一些特别有创意的名片,经常会用一些符号代替本来应使用的一些字。

img7.28冀永楠OCR的应用集锦及背后技术-16.jpg

车牌识别服务应用范围也比较广。一方面是停车,还有在高速进出口以及交通管理车辆的识别也采用了车牌OCR的识别。车牌OCR的识别主要的难点在于场景多样化以及前端采集设备的不可控。如果设备不是高清的设备放大之后会出现模糊的情况。

img7.28冀永楠OCR的应用集锦及背后技术-17.jpg

驾驶证、行驶证两个证件的识别一般用于租车以及车辆维修等领域的服务。共享汽车、滴滴都会用类似的服务。OCR在这类证件服务领域最大的难点在于证件的反光。这类证件本身它会有一层膜,拍照的时候可能会有反光。预处理会成为OCR识别重要的模块,这种预处理方式一般都是为这种问题单独开发的,它需要产生什么呢?高动态,就是说这种会非常亮的。需要高动态、标准的归一化过程,需要将识别部分归一成比较一致的图像。

img7.28冀永楠OCR的应用集锦及背后技术-18.jpg

银行卡是这个领域比较常见的服务,银行卡的字体相对比较简单,位置也相对固定,但有的时候字体会变得不好识别,尤其在不同的磨损条件下。发票OCR相对格式比较固定,问题在于发票种类多、发票的字体有时会打印的非常的不清楚。

img7.28冀永楠OCR的应用集锦及背后技术-21.jpg

通用印刷体OCR是比较常见OCR的产品,对OCR的使用相当一部分都是来自于通用的印刷体。广告识别占比较大。这类OCR最大的难度在于很难预料它的背景是什么样子,字体也是各种各样。在归类方面会认为是一种介于印刷体和手写之间的应用方式。对这类识别首先需要有足够大的字体库,如果还不足以解决问题就需要将手写体的技术也放在里面以保证比较高的准确识别率。

img7.28冀永楠OCR的应用集锦及背后技术-22.jpg

针对这一场景产生的方案可以使准确率达到90%以上。随手拍其实也是通用印刷体常见的应用方式。他的问题也是场景变化比较大,会涉及到光线变化的问题。广告类的话光线变化不会有太多的问题,这类光线角度是一个问题,同时还有拍照手抖带来的图像模糊,以及摆放时产生的文字遮挡……这些都会产生影响。

img7.28冀永楠OCR的应用集锦及背后技术-23.jpg

血液的检查单也是我们在做项目中的一部分,医院里打出来的血检单,文字间距非常小,字也小,同时识别的时候还会产生透视畸变。对于这种情况有两种处理方式:第采用超解析度做预处理,我把我的图像先进行一个,可以理解成一个采用了人工智能技术的一个非性能差值,使解析度更高、文字看上去更可识别,在进行识别器识别。第二种方式把刚才那部分集成到网络设计里,最大的好处在于针对这种情况会有比较高的识别准确率,并且识别速度会比较快。它的缺点在于遇到其他的类似的问题的时候还会需要较大的调整才会适用新的场景。

img7.28冀永楠OCR的应用集锦及背后技术-24.jpg

手写体的识别就是比较困难的事情。我们是第一家把手写体识别应用在实际场景中的。应用的场景以快递运单、银行的支票为主。

以上这些服务在腾讯云上都可以找到相应的服务接口,可以免费使用这些服务来自己搭建一个应用。当你实际需要开发的一个软件,或者需要做一个手写体的识别或者做一个通用的OCR识别的时候都可以直接去调用这些服务来完成应用。

下面都是有明确目标客户的实际OCR应用场景。物流运单的挑战:大概在2010年前后快递业发展得非常迅猛。在当时他们的运单就是必须手写之后录入数据库才能进行投递。

img7.28冀永楠OCR的应用集锦及背后技术-27.jpg

早期采取的都是人工录入的方式,开玩笑的说这可能是是继传呼机之后另外一个打字市场。我们与顺丰共同用手写体的OCR来完成他们的运单录入的过程。这种OCR的方式可以持续工作、准确率高达91%而且保密性更高。

img7.28冀永楠OCR的应用集锦及背后技术-28.jpg

现在做的OCR系统,可以日处理一千万单,相当于三千多人三班倒的工作量。泰康认知核保项目,是我们现在在做的,我们也在不断的寻找OCR所能达到的业务和应用的边界。泰康核保复项目:以前需要人工确认一个人当前的身体状况是否能够买这一份健康保险。

img7.28冀永楠OCR的应用集锦及背后技术-29.jpg

我们的主要目的是开发一种代替原有核保方式的系统,降低对医生或者说有医疗经验的核保人员的需求。通过OCR分析,把这些保单进行格式化、结构化输出。之后进行个人患病风险特征的提取。再通过特征建立预测模型,最终得到核保的结论,这个项目对于OCR来讲最大的难度在于单据格式的种类是众多,来源不一。

第二个难度在于扫描件所产生的图像质量差别非常大,第三设计系统需要对医疗知识有一定的了解。我们采用的方式是除了本身的OCR的设计能力,我们也请到了泰康的医疗专家来共同参与设计,并将知识尽量的加入到系统里面。一方面通过医疗字库来提供OCR字的转化能力;另外一方面在做预测回归时把判断通过机器学习的方式固化、标准化。

img7.28冀永楠OCR的应用集锦及背后技术-30.jpg

未来我们仍会不断的去探索AI特别是OCR的实际前沿应用。对纠错库多丰富一些场景信息,以使系统能够适用更多不同的场景。

Q&A

**Q:**OCR比如说高考识别的过程中,跟快递的扫描单有什么区别吗?高考卷这些OCR的扫描您那边做过吗?谢谢

A:我们做过但不是高考试卷,是教育的。教育的话其实并不是做只是针对高考一个场景的。其实高考的时候你写得字往往是比运单写的字还要清晰一些的,相对来讲还是要容易一些。比较麻烦的是里面有很多公式,这是比较头疼的一点。还有一点不太一样的,运单的话它的,你想输入的这个东西是有一个比较窄的范围的,你输得无非是地址,地址你可以假设穷尽所有的地址选项。但是高考的话相对来讲发散一点,它并没有这么一个全集在里面。所以总体来讲其实高考那个难度是要比运单的难度稍微大一些。但我们也有一些教育方面的应用,那个方面的话其实我们主要的工作是在公式上面。

Q:我问一下我现在有一个问题,我如果是PDF大量的文件上传上去,因为PDF是扫描的图片,它的文字就可深可浅,当我上传一个PDF扫描实现的时候,我很大的数据量进去的时候这块是怎么做处理的?

A:这个有点难住我了。其实关于P处理的问题刚才那位同事回答更为合适一点。因为我是做算法应用的。

Q:比如说图片的深浅不是切割了很多块,切割了很多块之后块与块之间的顺序有一个拼接,这一块是怎么做到的?

A:现在来讲有很多种方式。我们现在基本上不太建议这种分成小块的方式。至少你可以分成行,分成行的话如果你要做一个RNN的话要比分成块效果好一些。我的建议是说第一先通过一个最熟悉的方法把基本流程搭建起来,之后你会发现其中有一些步骤,那么这些步骤在进行逐渐的优化和合并。因为有的步骤如果是两个步骤,你没有必要用两个步骤,用一个网络可以更好的解决。可能用一个网络效果会更好,所以我基本建议开发思路是这么一个开发思路。

Q:我刚才看到您做泰康项目的时候有很多先验的信息,我想问一下先验的信息对应于模型当中是加在哪些部分的?

A:我们刚开始的时候肯定还是要用后处理或者前处理的方法分开来做。第一实现起来比较简单一点,你可以验证你加的这个先验知识是否真正的对你有帮助。当你确定它有帮助的时候,你把它先独立的分块,之后再进一步的优化形成一个整体的功能。实际的情况可能那种都会遇到,有的会分开两部分,当然这个分开的就有一点技术含量了,这确实是会有一些面向应用场景的设计。

问答

AI开发的语言要求?

相关阅读

安全报告 | 2018上半年互联网恶意爬虫分析:从全景视角看爬虫与反爬虫

安全报告 | SSH 暴力破解趋势:从云平台向物联网设备迁移

给你的CVM安装一个面板吧!

此文已由作者授权腾讯云+社区发布,原文链接:https://cloud.tencent.com/developer/article/1182593?fromSource=waitui

欢迎大家前往腾讯云+社区或关注云加社区微信公众号(QcloudCommunity),第一时间获取更多海量技术实践干货哦~

海量技术实践经验,尽在云加社区!

相关推荐

大模型的Agent Skill功能,在LLM HTTP底层交互流中是怎么承载的?

网络文章文本的 skill,昨天我实现了之后也就开始好奇起 Skills 的底层原理了——相比起各种花里胡哨的 agrnt 应用,我一直以来都很对大模型在纯粹的 HTTP 交互层面是如何交互的更感兴趣。Skill 的全部"魔法"都发生在 system prompt 的措辞和 SKILL.md 文件的编写质量上——本质上是一种 prompt engineering + 文件系统的组合。但是各种天花乱坠的 skills,是如何在底层的 HTTP 中,与大模型——这个只会嘴遁的工具交互的呢?

QcloudCommunity的博客 407

万字入门AI Infra:深入理解大模型中的数学与Infra优化

关注腾讯云开发者,一手技术干货提前解锁👇AI Infra科普、入门或者进阶 ~~ 不到 5 万字,带你融会贯通理解大模型的数学、算法、硬件到系统工程。任何问题欢迎沟通交流。可怕,我竟然有点认同这句话。当然大概率是因为姚顺宇太懂AI了,而我则是因为无知者无畏。不过仔细想想,大模型推理中的数学逻辑确实不复杂,很多原理只需要高中数学知识就能看懂。但是为什么像 vLLM 这种推理系统这么复杂呢?本文将拆解大模型中几个核心操作(RMSNorm、Softmax、Causal Mask、Sampling)背后的数学与

QcloudCommunity的博客 1170

平平无奇的源码,竟藏着Agent的核心秘密?

System Prompt 是剧本,Skill 是剧本的扩展包,Agent Loop 是演员按剧本行动。欢迎留言,我们将邀请作者针对性回复你的评论,我们将选取1则优质的评论,送出腾讯云定制文件袋套装。,让 Agent 能主动"巡逻",而不只是被动等待用户消息。OpenClaw 的 System Prompt 分层结构。的"行为底线",任何 Skill 或用户命令都无法覆盖它。精华 2:Skill 的"按需加载"避免 token 浪费。精华 1:System Prompt 是"分层乐高积木"

QcloudCommunity的博客 426

QQ音乐Harness Engineering实践

一个看似简单的需求,背后可能牵动服务调用链、配置、灰度、埋点、错误码、接口契约和历史兼容性。当 AI 开始快速生成大量代码,真正的瓶颈就不再是"写不出来",而是"看不完、想不清、管不住"。在对话式编码阶段,一种典型的工作模式逐渐流行:开发者把需求丢给 AI,扫一眼输出"看起来对"就直接采纳,不审 diff、不追问逻辑、不验证边界。以音乐商业化业务为例,一个需求可能从 TAPD 单开始,经过需求评审、技术方案、服务影响面分析、IDL 契约变更、业务代码实现、测试验证、CR、灰度上线,最后才进入稳定运行。

QcloudCommunity的博客 716

从Prompt、Context到Harness,工程的三次进化与终局之战

同时,强制要求散落各处的决策记录(Slack、邮件、文档)全部迁移至代码仓库,确保 Agent 的唯一信息来源是可信的、版本受控的仓库。更坑爹的是,研究表明,当上下文过长时,模型会出现"中间遗忘(Lost in the Middle)"现象:它对开头和结尾的内容记忆较好,对中间大段内容的关注度大幅下降。这篇文章,我想带你完整走一遍这三次进化的逻辑:它们分别解决了什么问题,它们之间是什么关系,它们的边界在哪里,以及:当三者融合,AI 工程师的终极形态究竟是什么?大语言模型的本质,就是这位金鱼助理。

QcloudCommunity的博客 719

让Skill自己训练自己:8阶段Loop、3层评测、5维AND门控,从此实现自进化

所以每一轮改动都是有据可查的,不是「感觉这里可以优化」,而是「Case 41 挂了,因为 agent 把离职问题路由到了邮箱分类,但正确答案在通讯录,所以我改 root_index.md 加个易混淆提示」。但让我最后决定把它记录下来的,不是这的个「吸收」过程,而是它真的在替我探索我不想费脑力触达的边界,这看起来更像是一个机器智能应该有的样子。不准跨层,每轮只改一层的东西。但我经过这 19 轮之后觉得,更准确的描述是互补——你在明处看着,AI 在暗处替你试错,你看不见的那一半就是 AI 能贡献的地方。

QcloudCommunity的博客 1128

只加两行代码,为什么要两天?一文深度理解业务系统的复杂性

关注腾讯云开发者,一手技术干货提前解锁👇业务系统复杂性一直是令开发者头痛的问题。复杂的不是增加一个需求需要耗费多少时间,而是在增加一个需求后带来的蝴蝶效应:其它功能会不会受到影响、要如何去找到这些影响,最终如何实现系统正常运行......功能之间隐秘增加的耦合、不可避免的代码腐化在导致业务复杂性增加。大家都在说的软件开发提效到底在提什么?程序员日常工作中应该如何提升开发效率?敏捷开发、瀑布流式开发孰是孰非?欢迎阅读。业务背景与目标我依然非常清晰地记得某个时候,我所在团队 Leader 曾讲过一段话:“我担

QcloudCommunity的博客 713

从零设计生产级 Multi-Agent Harness:架构、评估、记忆、成本与 MCP 工具接入全拆解

在 AI Agent 领域,Multi-Agent Harness 指的是把多个 Agent 的能力、工具、状态、通信、编排、监控统一收束在一个运行时之内的框架。第三,Agent 路由。一个输入框,一个大模型,几个工具,一段写得很漂亮的 System Prompt,再配上一个炫酷的前端,看起来就像一个能干活的“数字员工”。Multi-Agent 完全不一样——它有计划、有中间步骤、有工具调用、有 Agent 协作、有重试、有反思、有最终合成。增加 Budget、权限、重试、压缩、轨迹评估、审计、回归测试。

QcloudCommunity的博客 710

拆完Hermes源码,我发现Agent的“自我进化“根本不需要训练模型

两个月 5.2 万 Star,Hermes Agent 用一个"LLM 审判官"机制实现了 Agent 的自我进化——不改模型权重,只改"怎么用模型"的策略。OpenClaw(社区昵称"龙虾"🦞)是 2025-2026 年最火的开源 Agent 框架,30 万+ Star,插件市场 ClawHub 里有数千个插件,能接入 Telegram、WhatsApp、Slack、飞书、企业微信——几乎是一个"个人 AI 操作系统"。Skill 是英语写的,Memory 是英语写的,审查 Prompt 也是英语写的。

QcloudCommunity的博客 911

AI Infra 其实没有多少新东西

传统 Infra 追求横向扩展,而 AI Infra 呈现 “AI 大型机”特性,是因为传统后台服务的可以容忍毫秒级延迟,但 AI 集群不行,GPU 的算力是 CPU 的数百倍,微秒级的延时等待也会造成很大的算力损耗,需要硬件的高度集成。在可预见的1-3年的未来,这样的专用硬件+网络的集中式架构很难发生比较大的改变。与之相似,模型推理的批处理就是将多个输入样本打包(batch),将原本串行的 N 次轻量的推理计算,合并为 1 次重量的计算,实现单位时间内处理更多的请求,提高了 GPU 利用率。

QcloudCommunity的博客 826

程序员越早想通这些越好

永远没有正确架构,你永远无法偿还完所有的技术债务,如同你永远不会设计出完美的界面,请避开完美主义的陷阱,永远没有完美的代码,能够满足当前需求,又为未来不管是自己还是他人留有扩展空间,就很好了。我们努力的方向就是将现实世界映射到有限的数据结构中,这就需要用户自定义类型,如果你的代码中包含类似 trader portfolio 这样的概念,你就可以使用他们的名称来建模,而不是使用基本数据类型复杂嵌套表述你的目的。从另一个角度看,代码里的注释都是补丁,是碎片化的,局部的注释很难推导模块整体的顺序及耦合关系。

QcloudCommunity的博客 466

RAG已死?不,是Grep回归了!

这样一来可以直接复用已有的计算缓存,只为新增的增量部分付全价,前面累积的大头按约 1/10 的缓存价计费。所以实际的工具组合方式是灵活的:Grep(默认模式)→ Read 是最常见的路径,但 Grep(content 模式)可以独立使用,LLM 也可以直接调 Read(如果已经知道文件路径),或者一次同时发起多个 Grep 并行搜索。它从零开始构建自己的对话历史,不继承主对话的消息,这意味着它搜索过程中产生的大量 grep 结果、代码片段都留在自己的 context 里,主对话只收到一段总结性的文本结论。

QcloudCommunity的博客 576

深入浅出Harness Engineerring之核心模式与理念

在智能体生命周期的关键节点(如会话开始、工具调用后)自动触发预设动作(如代码格式化),由系统确保关键流程被执行,不依赖可能被模型遗忘的指令。简单讲就是利用向量存储这个技术,来实现模糊检索,原理是:即使字面不同,但语义相近的文本,其向量在数学空间中的位置也很接近。根据命令类型、参数和影响,自动评估其风险等级(安全、有风险、危险),并采取自动执行、请求确认或直接拦截等不同策略。关键特性是可隔离、可重建、可扩展。不是一次判断就定终身,允许你改变、允许情况复杂,通过不断观察、思考、调整,越来越懂真实的你。

QcloudCommunity的博客 625

Harness Engineering实践心得:如何高效驾驭AI?

但如果这些经验被拆成一条条 Rule、一个个 Skill、一项项 Script 检查——"XAML 不能有中文"、"编译要用这个路径的 MSBuild"、"SVN 命令必须带认证参数"——AI 就能在秒级时间里"吸收"十年的踩坑经验。然后可以看到下方的图,我的PM会很顺利的调度其他agent分别负责不同的事项,遇到问题的时候也能准确的找到合适的agent。MCP 本质上是在扩展 AI 的"感知范围"——Rule 管"该怎么做",Skill 管"怎么操作",MCP 管"能看到什么、能碰到什么"。

QcloudCommunity的博客 843

从第一性原理思考 Agentic Engineering

需要注意的是,这一结论是有条件的:如果 AI 缺乏领域知识,过早介入反而可能引入 1.2 节所述的"似是而非"损耗——因此上下文供给(实践 1)是 AI 全链条参与的前提,而非结果。通过一个专门的自迭代 Skill 实现——当 AI 在协作过程中识别到自己被纠正(用户否定了 AI 的输出并给出了正确方向),它自动评估这个错误的根因,搜索现有的 Rules 和 Skills 中是否已有针对该类问题的处理规则。事实上,越是复杂的项目,工程师的认知负担越重(公理 3),AI 分担认知负担的潜在边际价值也越大。

QcloudCommunity的博客 757

万字干货!Harness Engineering如何工程化落地?

关注腾讯云开发者,一手技术干货提前解锁👇Harness Engineering 的概念已经火了有一阵了,全网很多文章基本都是在讲理念,讲为什么今天做 AI 开发,不能只靠一段提示词,也不能把模型当一个“更聪明的代码补全”。但与此同时,一个问题也在持续地发酵:这个问题特别重要。因为 Harness 这个词听上去很大,很像一个抽象的方法论,但它如果不能落到工程、目录、文档、脚本、工作流里,那它最后就只是一句漂亮的话。事实上,不同项目落地出来的 Harness,表面上可能完全不一样。有的项目是 CI 很强,有的

QcloudCommunity的博客 1171

全方位对比:Hermes VS OpenClaw

多账号矩阵运营 如果你的业务涉及同时管理多个社交媒体账号、多个平台的内容分发、多渠道的客户互动——OpenClaw是目前市场上的"无可替代的底座"。一个有专业背景的个人,现在可以快速构建一个垂直领域的AI助手:比如"财务分析Hermes"、"法律咨询Hermes"、"技术架构Hermes",直接通过微信提供服务,积累自己的专业IP。跨平台生态融合 如果你的工作流涉及飞书、Slack、Discord等多个平台的深度集成,需要这些平台之间的数据流转和联动——OpenClaw的生态支持是强大的。

QcloudCommunity的博客 1218

一文讲透:Harness Engineering即控制论!

而研发模式的升级我认为将会是一个飞跃的过程,之所以现在我们仍然需要需要参与编码,一个非常大的原因就是缺乏传感器和基建,仍然需要人来串流程,比如需要人来验证UI是否正确、需要人来告诉AI代码不符合代码规范,因此在有些场景我们仍然感觉 AI 完成的很吃力,但这不是 AI 能力不行,而是我们并没有为 AI 提供友好的环境……控制论中的突变理论介绍了矫枉过正和飞跃现象之间的矛盾,如果质变中经历的中间过渡态是不稳定的,那么他就是一个飞跃的过程,如果中间过渡态是稳定的,那么他就是一个渐变的过程。但是这些阶段要解决的。

QcloudCommunity的博客 1204

神级开源插件!一句话让QClaw变3D小镇,Agent工作可视化,赛博云监工

这个架构是翻了几次车才想通的—原有AI的实现机制是用 setTimeout 猜动画时长导致了幽灵 NPC、工位撞车、越改越崩,后面我停下来换了思路,推翻原有的架构,按照“意图+回传”的架构进行重构,之前的问题一次性全部解决。15 天,我和 AI 吵了 185 次架, 4.5 万行代码,开发了一款 QClaw / OpenClaw 的UGC游戏插件,这可能是人类跟 Agents 交互的新范式,插件已完全开源,有需要的欢迎自取~我天天用,用着用着我就在思考,Agent 产品现在的交互体验,基本都一个样。

QcloudCommunity的博客 1198

一文搞懂Hermes:新顶流Agent如何从经验中自我进化

Voyager 是一个能在 Minecraft 中自主探索、学习技能、无限积累能力的 AI Agent,它提出了 "Skill Library"(技能库)的概念——Agent 将成功的行为序列编码为可复用的技能函数,存储在一个持续增长的代码库中。如果 Skill 的名称和描述不够精准,或者用户的任务描述与 Skill 的触发条件有语义差距,Agent 可能会错过相关的 Skill。如果进程在写入过程中崩溃,目标文件要么是旧内容(还没被替换),要么是新内容(替换已完成),绝不会出现写了一半的损坏文件。

QcloudCommunity的博客 2637

自掏腰包一万元,拥抱AI这一年,我的工具、实践和思考

其实也很好理解,过往的每个领域(比如前端、后端、设计、测试等等)都主要是这个领域的从业者在为它添砖加瓦,但是大模型时代的 AI 应用领域却几乎是所有使用 AI 的人类一起在迭代,无分领域,无分文理,无分老少。因为每个时期的 AI 都有着不同的特点,很多时候当我费尽心思去钻研,自以为有点弄明白 AI 应该怎么玩的时候,基座模型和行业范式常常就会迎来颠覆式的变革,很多过往的经验都会倾覆,然后只能从头再来。过去一年多,被热议的 AI 范式大概是沿着四个阶段递进演化,每一个阶段其实都在解决前一个阶段的核心问题。

QcloudCommunity的博客 627

办公Agent的CI/CD时刻到来了

核心观点是:企业给员工配了一堆 AI 工具,试点跑了几百个,但真正拖慢 AI 转型速度的瓶颈不在模型能力,在"最后一公里":AI 输出和实际工作流之间的那道鸿沟。代码写完,打个 tar 包,开 FTP 传到服务器上,SSH 进去解压,改配置文件,重启服务,刷一下页面祈祷别 500。你复制,切窗口,粘贴到腾讯文档里,发现 Markdown 格式全乱了,手动调标题层级,代码块重新标记语言类型,表格散架了重排一遍。模型是越来越聪明了,但"生成"到"落地"之间那段路,还是你自己在走,一步一步,手动搬运。

QcloudCommunity的博客 608

4亿token买来5个教训:让6个AI Agent连写4天代码发生了什么?

Watchdog 检测到崩溃 → 启动诊断 Agent 分析原因 → 诊断 Agent 跑满 20 轮没搞定 → Watchdog 判定“已修复”,重启系统 → 重启的系统因为诊断 Agent 留下的环境变量被继承,连续 3 次拒绝启动 → 触发连续失败保护退出 → Watchdog 第 3 次巡检,发现进程和记录文件都没了,尝试手动重启,自己也停了。启动前我翻了论文、做了架构设计、写了监控+修复异常的脚本。这个发现让我的情绪从沮丧变成了兴奋——不是那种"终于修好了"的释然,是"我找到根因了"的快感。

QcloudCommunity的博客 584

赛博斗蛐蛐:9大模型决战三国志,天命在谁?

我猜是这样的,当Gemini面临决策的时候,一系列关键词比如 守城,劣势,粮草,三国等等,在语义层面的关联性中LLM发现了竖壁清野这个关键词概率非常高,所以以此为策略,然后再根据这个策略完美执行操作。MiMo 的外交是三方中最精明的。Kimi作为国产模型,也同样颠覆了我对他的看法,最后的比赛他甚至一度是优势者,存在很多夺冠的可能性,要知道他的对手可是claude和gemini,而他经常出兵慢,回过头来想想或许正是他的策略,毕竟中后期他的优势都来自于稳健的发展和较少的战斗频率(和claude比).

QcloudCommunity的博客 875

Claude Code是怎么知道你在骂他的?这 12 条发现值得关注

确实存在——5,500+ 行,集成了消息队列、工具装配、MCP 编排、会话状态、权限、分析、文件持久化和优雅关闭,基本上一个文件干了所有事。对抗虚假声明——"不要在输出显示失败时声称所有测试通过,不要压缩或简化失败的检查来制造绿色结果"。完整的 KAIROS 是一个持续驻留的守护进程,能感知你在不在电脑前、主动寻找有用的工作做,更像是住在终端里的全职同事。源码里藏着一个叫 "Buddy" 的电子宠物系统,完整度令人惊讶——这不是一个 TODO,而是一个从数值系统到 ASCII 动画都实现了的完整功能。

QcloudCommunity的博客 702

逆向深扒Claude Code源码,我发现了什么!?

Anthropic 内部用户获得更严格的质量控制 prompt、更好的验证机制(独立 Verification Agent)、以及针对 model 弱点的专门对策(如 Capybara v8 的 29-30% 错误声明率对策)。这不是代码混乱的标志——它是整个 Agent Loop 的心脏,所有的流式处理、工具调度、上下文压缩、子代理管理都在这个文件中协调。这种"胖核心"设计是刻意的:保持核心循环的原子性,避免分散到多个模块导致的协调复杂度。核心价值:Fork 代理的工具输出不会回到主代理的上下文窗口。

QcloudCommunity的博客 893

一文讲透如何构建Harness——六大组件全解析

本文将从"裸模型的四个硬伤"出发,逐一拆解 Harness 的六大组件——文件系统、Bash + 沙箱、记忆(AGENTS.md)、Web Search + MCP、上下文工程、编排 + Hooks——带你看清 AI Agent 真正的竞争壁垒,不在模型层,而在 Harness 层。如果你用过 Agent 做复杂任务,你一定有过这样的体验:一开始 Agent 的表现很好,但随着对话变长,它开始"变笨"——遗忘之前的约定,重复之前犯过的错误,甚至对同一个问题给出前后矛盾的回答。对于简单的问答场景,这无所谓。

QcloudCommunity的博客 761

Harness Engineering 来了,SDD 还有意义吗?

他们的解法是把「品味」编码进规则,然后用一个定期运行的「doc-gardening」Agent 自动扫描漂移、发起修复 PR——「技术债务就像一笔高息贷款,不断地以小额贷款的方式偿还,总比让债务不断累积要好」。代码仓库本地的、已版本化的工件,才是 Agent 所能看到的全部。在 Vibe Coding 模式下(即不做规划、随意向 AI 提需求的开发方式),大量设计决策、跨服务约定、「为什么不选另一个方案」的讨论,全部停留在一次性的 AI 对话里——下一个人,或者下一次 AI 会话,完全无从获取。

QcloudCommunity的博客 419

零废话!一文讲透从0构建AI Agent

每个工具都要写一套"定义→解析→执行"的胶水代码。上下文管理就是在"记住足够多"和"别超标"之间找平衡,常见策略包括滑动窗口、摘要压缩、RAG 检索增强。上下文窗口是 Agent 的"工作记忆",但它有硬性限制。LLM 负责"动脑"决策,代码负责"动手"执行。这是从"聊天机器人"进化到"Agent"的关键一步。每次调 API 都把完整对话历史发过去,LLM 本身是无状态的,"记忆"完全靠客户端的数组模拟。这样 Agent 一开始就知道自己"在哪里"、"手头有什么",不需要先花一轮工具调用去探索环境。

QcloudCommunity的博客 712

距离AI把小编我裁掉还有72小时

这是一个基于 OpenClaw 开源生态打造的本地化 AI Agent 助手,已于上周开启全量公测,无需复杂配置,三步即可上手,自带安全防护,支持微信直连绑定,内置多款优质国产大模型,现阶段也是完全免费使用,基本上前面提到过的痛点都可以靠它解决。对了,这里特别强调一点,上面的截图让产品同事汗流浃背,再三找我确认 QClaw 思考过程中优美的“草”字说法,不会是默认出现的吧?AI 好,AI 得学,但更重要的是,在你的工作和生活里,哪些东西是能结构化地被 AI 所接入的,不要死守着那些脏活累活不放。

QcloudCommunity的博客 674
上一篇: 使用JavaScript和D3.js实现数据可视化
下一篇: 微信小游戏爆款秘笈 数据库MongoDB攻略篇
腾讯云开发者
腾讯云开发者 企业官方账号 企业官方账号
博客等级 码龄10年 6291粉丝 1962原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值