AI开发者 - 构建Agent的三个核心思想

前言

本文章主要内容来源于Anthropic(Claude)的工程师Barry Zhang的分享

视频地址:https://www.youtube.com/watch?v=D7_ipDqhtwk

如何构建一个有效的Agent:https://www.anthropic.com/engineering/building-effective-agents

博客阐述了如何去构建一个有效的Agent,以及各种场景下构建Agent的形式,对比当下构建我们构建的Agent,还是有一部分内容缺失的,比如缺少了内容的feedback,缺少了对于Agent执行任务质量的自动检验。

视频中作者主要对博客中的构建Agent的三个要点进行了展开,观点比较新颖,尤其是第三点,对于如何构建Agent提出了不一样的思考方向,接下来主要就这三点内容进行阐述。

不要为所有的事情都构建Agent

Barry Zhang列出了几个CheckList用来判断自己的场景是否适合构建Agent

任务的复杂性

  • 不复杂:比如很容易就可以构建出整个决策树,这种建议采用工作流的方式,并且是比较经济实用的。
  • 复杂:Agent适合处理比较模糊的问题,比如代码生成,只是一个从需求转换为代码的过程,结果的预期是模糊的,两个不同的人,写出来的代码肯定都不一样,但达成的效果都是一样的。

任务的价值

这里主要指的是成本,也就是让Agent去做这件事带来的价值是否与消耗的token是否成正比。

否则还是考虑考虑工作流或者不使用Agent吧。

可行性

Agent是否在任务的各个节点是否都可以做的很好。

这一点没太理解作者的解释,我个人理解是如果整个任务中,有一些节点不适合Agent去做,可以尝试将这些节点抽离出来,以工作流的方式去实现,或者是在多Agent协作的模式中,将这些节点拆分到其它的Agent中去做,也就是简化单一Agent职责。

任务执行错误的风险和发现错误的成本

  • 如果对任务的执行结果要求比较高,那Agent不太适合去做。
  • 能不能在Agent执行任务失败后第一时间发现问题。

通过这一点可以反思下我们目前的Agent,有没有这些问题,在设计Agent之初,应该考虑到这一点,当然还要具体场景具体分析了。比如目前我们的场景,有没有正确的帮用户去处理相关的任务,效果是不是如预期一样进行,是不是缺少了这个Feedback机制。

在本节的最后,作者举例为什么Agent适合编码,按照上述的几个标准,都给出了相应的解释:

  1. 任务的复杂性: 将设计文档转换为代码本就是一个比较复杂且模糊的事情
  2. 任务的价值: 作为开发人员,当然我们认为自己的代码的价值很高~
  3. 可行性: Agent可以胜任这个工作,感觉作者有点儿过于自信Claude的编码能力了,虽然做简单的作业是没有问题,但如果当代码文件过多时,AI的能力显得就不足了。不过最近OpenAI(CodeX)和Google(jules)都发布了代码生成的Agent,但现阶段仅限于对GitHub仓库的项目进行操作
  4. **执行错误的风险和发现错误的成本:**代码生成可以生成对应的单测和持续集成来验证生成的质量

Google jules:https://jules.google/

Keep It Simple

作者提到Agent的三个核心元素:环境、工具和系统提示。

  • 环境是Agent对于现实世界的认知
  • 工具是Agent与现实世界的交互的方式
  • 系统提示:Agent的目标、约束和在实际工作时的理想行为

任何Agent都脱离不了这三个元素,且尽量只有这三个元素。主要针对这三个元素进行迭代,其效果是非常显著的,这也是为什么作者认为Agent要Keep It Simple。

像你的Agent一样思考

Barry Zhang认为我们总是自以为理解Agent的行为,但其实我们的理解可能是错误的,建议我们从Agent的的角度尝试去完成一次任务,在这个过程中可能会感到不适,但只有这样我们才能知道Agent需要什么。

作者以他们公司构建的Computer Use Agent举例,当他以Agent的角度去思考之后,发现自己就像一个无头苍蝇一样不知所措,甚至不知道自己该点哪里。后来他知道了Agent需要知道自己所处的是一个什么分辨率的显示器。

在这个过程中可能我们会感觉到不适,但只有经历过这种不适之后,才能知道Agent需要什么。需要哪些环境、需要哪些边界、需要哪些工具、需要哪些上下文。

在这里还提到了Agent的自我迭代,这个想法之前没有听过,其大意是将AI的执行轨迹扔给AI,询问哪些地方做的不好,我们提供什么才可以帮助它做的更好,以帮助我们去理解Agent是如何看待这个世界的,其核心也是让人类不要自以为是的理解AI的行为。

总结

Barry Zhang本次分享中的几个观点都还挺有意思的,尤其是“像你的Agent一样思考”,对于后续去构建Agent包括迭代现有的Agent都有一些启发。还有他提到的“任务执行错误的风险和发现错误的成本”,也是指的我们在构建Agent的过程中去思考的点。

本文旨在系统阐述利用MATLAB平台执行多模态语音分离任务的方法,重点围绕LRS3数据集的数据生成流程展开。LRS3(长时RGB+音频语音数据集)作为一个规模庞大的视频与音频集合,整合了丰富的视觉与听觉信息,适用于语音识别、语音分离及情感分析等多种研究场景。MATLAB凭借其高效的数值计算能力与完备的编程环境,成为处理此类多模态任务的适宜工具。 多模态语音分离的核心在于综合利用视觉与听觉等多种输入信息来解析语音信号。具体而言,该任务的目标是从混合音频中分离出不同说话人的声音,并借助视频中的唇部运动信息作为辅助线索。LRS3数据集包含大量同步的视频与音频片段,提供RGB视频、单声道音频及对应的文本转录,为多模态语音处理算法的开发与评估提供了重要平台。其高质量与大容量使其成为该领域的关键资源。 在相关资源包中,主要包含以下两部分内容: 1. 说明文档:该文件详细阐述了项目的整体结构、代码运行方式、预期结果以及可能遇到的问题与解决方案。在进行数据处理或模型训练前,仔细阅读此文档对正确理解与操作代码至关重要。 2. 专用于语音分离任务的LRS3数据集版本:解压后可获得原始的视频、音频及转录文件,这些数据将由MATLAB脚本读取并用于生成后续训练与测试所需的数据。 基于MATLAB的多模态语音分离通常遵循以下步骤: 1. 数据预处理:从LRS3数据集中提取每段视频的音频特征与视觉特征。音频特征可包括梅尔频率倒谱系数、感知线性预测系数等;视觉特征则涉及唇部运动的检测与关键点定位。 2. 特征融合:将提取的音频特征与视觉特征相结合,构建多模态表示。融合方式可采用简单拼接、加权融合或基于深度学习模型的复杂方法。 3. 模型构建:设计并实现用于语音分离的模型。传统方法可采用自适应滤波器或矩阵分解,而深度学习方法如U-Net、Transformer等在多模态学习中表现优异。 4. 训练与优化:使用预处理后的数据对模型进行训练,并通过交叉验证与超参数调整来优化模型性能。 5. 评估与应用:采用信号失真比、信号干扰比及信号伪影比等标准指标评估模型性能。若结果满足要求,该模型可进一步应用于实际语音分离任务。 借助MATLAB强大的矩阵运算功能与信号处理工具箱,上述步骤得以有效实施。需注意的是,多模态任务常需大量计算资源,处理大规模数据集时可能需要对代码进行优化或借助GPU加速。所提供的MATLAB脚本为多模态语音分离研究奠定了基础,通过深入理解与运用这些脚本,研究者可更扎实地掌握语音分离的原理,从而提升其在实用场景中的性能表现。 资源来源于网络分享,仅用于学习交流使用,请勿用于商业,如有侵权请联系我删除!
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

壹氿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值