- 博客(228)
- 收藏
- 关注
RSS订阅原创 论文解读：AgentCoder让编程Agent先过测试再交付
一个函数最会骗人的时刻，往往不是它报错的时候。而是它看起来完全正确的时候。变量名清楚，逻辑顺滑，样例也能跑通。你把它贴进项目里，心里甚至会冒出一点轻松感：这次模型写得还不错。直到一个空列表、一个重复元素、一个边界阈值突然出现，代码才露出真正的裂缝。这就是代码生成和自然语言生成最大的不同。一段回答写得像人话，不代表它有事实；一段代码写得像工程师，不代表它能通过执行。代码世界里，漂亮不是证据，测试才是证据。AgentCoder 这篇 2023 年的工作，放到今天看反而更有意思。
2026-07-04 23:28:24
379
原创 Agent--有序结构的重要性
在实际的应用中，一般是用FSM做宏观上的决策，而细节则是用图编排来做，这样既能确保每个子任务的质量，出现错误就回滚，让agent自行优化或者人工介入，在具体任务上，则是通过灵活的控制流，根据需求来完成任务，使得不是一味死板地解决问题，不用纠结agent分配的任务过粗过细，思考的程度是否偏颇，同时做到保证可维护性和可扩展性。所以，工程化对于多agent来说，可以说是必然的一种变化，不仅可以让流程更清晰，可追溯，也能大大提高系统的可维护性，这样系统才会让人信任，为多agent走进生产环境打下基础。
2026-07-03 21:52:57
238
原创 Agent--对话驱动协作机制
之前我们提到过，多agent之间的信息流是以自然语言为基础的多轮对话，这里要明确的一个点是，对话在这里并非是辅助功能，可能会有人在接触到这个概念时以为对话是辅助agent理解文件、代码、任务等信息的方式，这个思考角度是把agent理解为了工具，而不是一个会“思考”的智能体。
2026-07-02 21:45:28
209
原创 Agent--多agent的协作模式
上一节我们提到，多agent之间的信息流主要是由自然语言进行的，但多agent的协作模式却不止像团队分工那样只有一种讨论的形式，实际上主要分为四种：结构化协作：ReAct扩展；反思式协作：团队互查；开放式协作：并行众议；流程化协作：严格调度。这四种模式基本就囊括了绝大部分的情况，下面我们来分别讲讲他们的结构和区分。
2026-07-01 22:32:05
235
原创 Agent--多agent的重要性
而这种用自然语言的交流方式，可以看做是，一个抽象、目的模糊的任务，经过每个agent的努力，让其不断地变清晰，最后呈现出一个直接、成熟、质量好的回答，就像是开抢前，要调整准度，不仅仅是考虑视野里的清晰度，还要考虑风速，阻力等各个要素，多agent就是通过各自的方式把这些细节都做好，最后狙击手只需要扣动扳机（也就是输出）就能完成任务。也就是说，往往任务做着做着，在对话里提到之前提到的某个细节时大模型可能会“忘”掉或者曲解其意义，进而出现幻觉，这样的问题一旦在处理的过程中的某一个环节出现，都会造成很大的问题；
2026-06-30 23:26:23
275
原创 Agent-实战经验总结（二）
最好的方式是按照需求去写，如果是项目要求，就直接针对模块设计就好，如果是做的通用工具，就需要想好一般用到工具时的思路便可，也就是说，关键是在于将工具函数封装为Agent容易理解和选择的单元，这也符合“工具”的设计初衷，适合、好用的才是最好的。虽然工具函数由代码构成，很多人喜欢像写注释一样把其描述形式往自己理解的方向靠，但是事实上，工具描述的最好是写成：这个工具能做什么，什么时候要调用，参数填写说明，返回什么类型的信息等，需要比较详细，全面的说明，目的也是为了让Agent能够容易理解该工具的作用。
2026-06-27 17:41:04
214
原创 Agent--实战经验总结
有时候，即使提示词里写清楚了规则，Agent还是会出现问题，可以写一些兜底逻辑，比如提示词里写着输出时直接写参数值，不要带引号，但是实际输出时还是可能会有这种情况出现，就需要在输出的逻辑里提前清楚引号 ####轮次限制 写ReAct框架时，需要限制最大轮次，可能有的人会担心这样会不会打断了正在优化的部分，但是实际上，Agent实际在迭代时要不了这么多次，次数多起来，很有可能是陷入了死循环，为了防止消耗多余的token，需要限制最大轮次，一般是3-5次，有的特殊一点也会写8次。
2026-06-14 00:55:40
203
原创 论文解读：AI智能体学会复盘：Reflexion让大模型不用训练也能进化
语言模型一旦开始调用工具，事情就变得不一样了。到 2023 年前后，ReAct、Toolformer、WebGPT、HuggingGPT 这些工作陆续出现，让模型开始打开网页、调用 API、写代码、跑测试，在文字世界和工具链里完成任务。语言模型不再只是回答机器，而开始变成一个能行动的系统。但问题也随之而来——它们会犯错，却很难真正记住自己为什么错。你让一个智能体找杯子，它可能翻了柜子、看了桌子、绕了一圈，最后失败。下一次重来，它仍然可能像失忆一样，从同一个错误动作开始。
2026-06-11 00:16:55
294
原创 论文解读：GAIA给通用AI助手泼冷水，人类92分GPT-4插件版只到30分
ChatGPT 之后，大模型评测开始变得越来越奇怪。模型在律师考试里刷分，在医学题库里刷分，在数学竞赛题里刷分。榜单看起来越来越漂亮，分数越来越接近“专家水平”。但你把它从考场里拎出来，丢进真实世界，让它查一个网页、读一个表格、确认一个日期、再给出一个不能含糊的答案，它反而开始露怯。这件事很反直觉。我们习惯把“更难”理解成更专业、更抽象、更接近博士资格考试。但对一个真正的 AI 助手来说，难题未必是解一道奥数题，而是完成一串普通人每天都在做的小动作——找资料、核来源、算结果、看文件、别瞎编。
2026-06-09 23:30:37
330
原创 论文解读：回看MetaGPT：多智能体协作从聊天走向流水线
2023 年那波 AI Agent 热潮，最迷人的地方不是“一个模型会做多少事”，而是“一群模型能不能像团队一样工作”。一个负责规划，一个负责写代码，一个负责检查结果，听起来像把公司搬进了提示词里。那一年，AutoGPT、BabyAGI、ChatDev 这类系统把“自主智能体”的气氛推得很高，但真正跑起来之后，问题也很快暴露——这些 Agent 往往不是在协作，而是在互相“传话”。传话最怕什么？最怕第一轮只是有点含糊，第二轮就开始走形，第三轮已经变成另一个项目。
2026-06-08 23:22:39
387
原创 Agent--多Agent的重要性
一个好的Agent，有着完备的推理能力，可以通过调用多个工具实现多种能力，也能通过多轮对话完成复杂的任务，这样看来，优化的趋势似乎应该是做一个更好的模型。但是事实上，随着任务复杂度的提高，单Agent的负担只会越来越大，刚才所说的优点，在其领域上会表现出很明显的局限性：任务的流程过长，导致Agent还是不可避免地会遗忘以前的重要信息；给Agent塞了过多的工具，尽管都是必要的，但是其在选择时会更纠结，容易出错；任务过于复杂，涉及多个领域，甚至需要分阶段完成任务，单个Agent容易出现推理瓶颈。
2026-06-06 00:13:32
241
原创 Agent-自我反思机制
之前我们提到过，在ReAct中，agent会在输出结果后先观察结果，判断是否符合人物标准，不符合就重新进行一轮操作，直到输出令agent满意的答案为止，关于这个反思机制，具体的如下。
2026-05-10 20:48:42
199
原创 Agent-Tool Use
之前我们学习了Agent里的RAG和Memory，但还有一个很关键的部分一直没细讲，那就是Tool Use（工具调用）。
2026-05-08 23:14:30
219
原创 论文解读：生成式智能体让25个AI小人自己组织了一场情人节派对
有没有想过，一个AI能不能"过日子"？不是回答你的问题，不是帮你写代码，不是在benchmark上刷分——而是真的像一个人那样，早上起来刷牙，出门前和家人聊两句，路上碰到邻居寒暄几句选举八卦，晚上因为暗恋某人而纠结要不要邀请对方参加派对。斯坦福和Google的一支团队真的做了这件事——他们造了一个像素风虚拟小镇，放进去25个AI居民，只给了一个种子指令"Isabella想办一场情人节派对"，然后什么都没管。两天后，派对真的办成了。
2026-05-06 21:39:00
522
原创 论文解读：Mem0用7K token干翻26K全量上下文
Mem0展示的不是一个"更好的RAG"，而是一种全新的AI记忆范式——从"存储原文"到"提炼记忆"，从"被动检索"到"主动维护"，从"学术原型"到"生产就绪"。它让AI智能体从"每次对话都是第一次见面"迈向"真正认识你、记住你、理解你"。未来的演化方向至少有三个：一是优化Mem0g的图操作延迟，让关系推理更快；二是探索层次化记忆架构，在效率和关系表达之间找到更优解；三是将记忆框架扩展到对话之外——程序推理、多模态交互、具身智能，都需要持久化的记忆能力。
2026-05-05 19:29:15
516
原创 论文解读：MemOS首次把记忆变成大模型的一等公民资源，Scaling Law迎来第三条曲线
如果说过去三年大模型的进化主线是"更大、更快、更聪明"，那么从2025年开始，一个被长期忽视的短板正在浮出水面——记忆。你可能已经感受到了。你和ChatGPT聊了三个月，它依然不记得你的名字。你让一个Agent连续执行十轮任务，它在第六轮就忘了第一轮的结论。你在A平台积累的偏好数据，到了B平台全部归零。大模型可以写诗、写代码、做推理，但它不会"记住"——不会像人一样积累经验、保留偏好、持续进化。这不是某个产品的bug，而是整个架构的缺陷。
2026-05-04 20:07:02
576
原创 论文解读：多模态智能体长期记忆突破：M3-Agent让AI像人一样“看、听、记、想“
过去几年，AI在"看"和"听"上的能力突飞猛进。GPT-4o能看图说话，Gemini能处理百万Token的上下文，Qwen2.5-Omni能同时理解视频和音频。但这些能力有一个共同的天花板——它们都是"即时处理"，没有真正的记忆。这带来了三个致命问题：第一，身份一致性崩塌。一个人在视频前半段穿红衣服、后半段换了蓝衣服，模型就可能把同一个人当成两个人。用文字描述"一个穿红衣服的女人"来追踪身份？时间一长，这种描述必然产生歧义和冲突。第二，世界知识无法积累。
2026-05-03 19:17:13
594
原创 论文解读：8K窗口撬动350万Token：MemAgent用强化学习重塑长文本记忆
过去两年，大模型的"记忆力竞赛"几乎成了一场军备竞赛。从4K到128K，从128K到1M，上下文窗口的数字越来越大，厂商的宣传越来越响亮。但你有没有注意到一个尴尬的事实——窗口越大，模型越"健忘"？Qwen2.5-Instruct-1M号称支持百万Token，但在实际测试中，当输入达到896K时准确率直接归零。DeepSeek-R1-Distill-Qwen-32B在56K之后性能断崖式下跌。QwenLong-L1-32B在超过训练长度60K后也迅速崩塌。下面这张图把问题展示得一目了然——图1。
2026-05-02 20:34:39
501
原创 Agent-memory-记忆的持续性与演变机制
此外，不即时更新除了不想让用户等待记忆演变完成才能使用之外，就算记忆之间有冲突，两者之间肯定要有一个被删除，但是在当下，agent是不能判断到底哪个更重要的，因为记忆，永远是面向未来，是要看未来有用性的，一般都会询问一下用户。但是有一个很关键的问题是，我们尝尝拿捏不准什么时候更新记忆库，或许从操作的角度出发，很多人会下意识地说，“触发了条件就更新”，但是，就算10条记忆里只有一条才会触发，甚至100条，但是每天下来，agent的会话里会产生大量的记忆，那会浪费很多的性能。
2026-05-01 19:29:53
92
原创 Agent-memory-摘要评估中的覆盖率以及可用性
随着记忆的增加，如果不对记忆进行压缩形成摘要，那么检索的速度只会越来越慢，假设记忆库中有10条记忆时，检索的时间是10ms，那么增加到110条时，检索时间大概就是110ms，而在实际的使用中，记忆库动辄就会达到几十万几百万的量级，要是真的这么慢，那agent也不会有人用了。
2026-04-30 18:47:41
77
原创 Agent-memory-召回设计里分段过滤的重要性
我们都知道，记忆存储后，怎么能够在用户提问时召回几个质量高的记忆是核心之一。在实战中，我在记忆存储时，让agent给其分配我给定的几个类型，并在召回时设计为，匹配到对应的关键词，并进行综合打分（语义相似度+时间匹配+置信度），结果返回的记忆一塌糊涂。
2026-04-29 18:44:47
64
原创 Agent-memory-记忆存储：类型存储与数据加密
事实上，很多关键的信息，数量本身就是会少于一般的记忆信息，而且这类信息很少改变，比如用户说自己喜欢红色，不大可能会一直强调，一般可能是因为特殊的上下文或者是无意中给出来的信息，尽管被识别为用户画像类的信息，但是在价值评估公式里，价值分不一定会那么高，甚至可能会低于我们设置的价值存储判断阈值。昨天提到，对于用户画像类的信息，如果我们在存储信息时，只考虑了我们的价值评定公式，那么不光是后续检索的问题，甚至可能导致用户反馈自己说的画像信息agent永远“看不到”。
2026-04-28 19:29:03
74
原创 Agent-memory-初次代码实战经验总结
本以为老老实实地跟着教程创建一个基本的记忆库会比较简单，只需要构建记忆类型，记忆存储结构，记忆评估方法，没想到依然走了许多坑，“贡献”了许多经验。
2026-04-27 19:21:01
90
原创 Agent-memory-保证记忆相同且高质量的重要性
记忆系统的本质，除了保留有用的信息以外，还有一个关键的地方就在于，不同的会话之间交互的信息可以互相查看，不然每次对话agent都要重新获取信息，重新获取昨天对话说的内容，那效率会很低，每次都要询问很多内容才能同步到之前交流的程度。
2026-04-26 01:06:16
227
原创 transformer知识补足
而反向 KL 散度则会特别惩罚学生“低估”了老师分布里本来就很高的区域，从而避免”只学一半“，在后训练中，DeepSeek‑V4 用最小化学生与老师之间的反向 KL 散度来更新学生模型，强迫学生认真模仿老师的全部输出概率。：在注意力变体中，由于进行了压缩的操作，很多token之间本来紧密挨着的部分因为融合消失了，此时就引入滑动窗口，令其关注未被压缩的相邻token，从而使其不至于忽略掉局部信息。：满足两个条件的矩阵：所有元素都是非负数以及每一行的和 = 1，每一列的和 = 1。
2026-04-25 01:21:16
180
原创 Agent-memory-记忆库的维护
提炼摘要的主要围绕三个方面：信息提炼（保留核心事实和事件，提炼语义精华），体积压缩（减少数据存储和token占用）和上下文保持（提炼摘要但保留与上下文的衔接语，维持对话的连贯性）。按照提炼摘要的时间，大致分为会话摘要、阶段摘要和全局摘要。分别对应比如平时新建一个窗口的对话，追踪一个项目的对话以及用户画像。
2026-04-24 00:22:25
265
原创 Agent-memory-记忆使用的正确方式
上一节我们探讨了一个好的记忆库是如何搭建以及如何存储的，但是记忆存储后的利用，和RAG里的检索不是完全一样的。除了相似度匹配以外，记忆的匹配还可以通过元数据来召回。元数据就是存储记忆时带有的属性，比如时间、地点，置信度这类，这样匹配时可以非常高效地匹配到对应的记忆信息。混合搜索的机制也是类似的，也就是先用元数据匹配，选定时间地点，然后再用语义相似度匹配。在RAG里，我们就提到过召回文档的数量很关键，关系到回答的质量。
2026-04-22 00:45:23
129
原创 Agent-memory-记忆存储
前一节我们提到，记忆写入的方式策略主要有即时写入（用户说自己不喜欢太死板的文字格式，或者说自己不喜欢喝牛奶，想要早餐推荐，这类记忆就需要及时存储下来），延迟写入（开始说每次对话完生成摘要，就需要等到明确的会话结束信号或者窗口达到上限才会生成摘要并存储记忆）和反馈写入（用户说把某个项目记为a，就出发逻辑，判断并将其写入长期记忆）。但是这三种策略，如果全用即时写入，会一次性引入大量的噪声，影响存储质量；如果全用延迟写入，那么有些记忆更新的慢就会导致模型误会用户的用意；
2026-04-20 22:14:36
279
原创 AGENT-Memory-记忆的选择策略
学完RAG，我们知道，检索所依据的内容，并不是越多越好的，除了检索相关以外的内容，多了只会作为噪声去干扰模型的判断，降低模型的思考速度。而memory就相当于我们RAG时的外部知识库，这个知识库的建立架构建立的好，那么检索的质量和效率就会高。那首先，我们要关注的就是，什么才值得放入记忆库里。
2026-04-20 01:01:20
223
原创 RAG代码实战经验：调参的重要性
说了这么多，调参这件事，本质上是在保证给予模型较完整的知识的同时，最大限度地减少对模型的干扰程度，因为本身RAG就是在做减少模型幻觉这件事，所以才会说不要一昧地给模型太多知识，那等于给模型指导错误的方向，很容易弄巧成拙。
2026-04-19 00:57:07
252
原创 RAG学习经验：实操代码的问题总结
在运行RAG前，建立向量数据库并导入是一个常见的操作，但是很多时候为了验证代码的可行性，我们会跑很多次，即使逻辑没问题，但是会发现返回的内容质量越来越差，这是因为，重复跑的话，向量数据库里会有很多相似的文档，由于后续我们会做重排的操作，即判断文档快的分数并重新排名，那么一样的文档快会因为分数都高，全在前面，那么有些很有用的文章就会因为这个被剔除掉，导致最后返回的文档看似有k个，实际上都是同一个文档。
2026-04-18 01:31:46
211
原创 论文解读：一张RA-LLM全景图，拆透检索增强的底层逻辑
你可能遇到过这种场景：用GPT查一个去年的政策变化，它给出了一段措辞流畅、逻辑严密的回答——然后你发现，那个政策压根不存在。这不是bug，这是LLM的原罪。大语言模型（Large Language Model，LLM——你可以把它理解为"经过海量文本训练、能理解和生成语言的超大规模神经网络"）在训练完成那一刻，就被"封印"了。它的知识库定格在某个时间节点，此后发生的一切，对它来说是真空。
2026-04-17 00:25:57
468
原创 论文解读：不需要OCR，不需要描述生成——ColPali重构了文档检索的底层逻辑
你有没有遇到过这种情况：精心搭建的RAG系统，处理普通文本时如鱼得水，一碰到PDF里的表格、图表、信息图，立刻哑火——不是找错了页面，就是关键数据完全没检索到。这不是你的系统问题。这是整个行业在视觉文档检索上集体踩的坑。过去几年，RAG（检索增强生成——一种让大模型先检索相关文档再生成回答的技术范式）几乎成了企业AI应用的标配。但当文档里的关键信息藏在一张能量来源分布图里、藏在一个跨越半页的财务报表里、藏在一份密密麻麻的政府报告版面里——现有的检索系统，基本束手无策。
2026-04-16 02:09:35
689
原创 论文解读：Auto-RAG--用推理替代规则，让大模型自主掌控迭代检索
Auto-RAG代表的是RAG研究里一次值得关注的方向转变——从"外部规则驱动检索"到"模型自主推理决策"。这不是一次调参优化，而是一次控制权的转交。过去，迭代检索的"大脑"在人类设计的规则系统里；Auto-RAG之后，这个大脑搬进了模型自身的推理过程。在六个基准上平均领先IRCoT约6个百分点，在多跳推理任务上的性能提升尤为突出，且推理开销还低于依赖few-shot的对比方案——这个组合拳打出来，说明这条路线的方向是对的。更长的推理链。
2026-04-15 01:16:34
492
原创 论文解读：向量RAG为何回答不了“数据集主题是什么
先说实体和关系提取。知识图谱——可以理解成"人物关系图"的超级增强版。图里的节点是实体（人、地点、组织、概念），图里的边是关系（谁属于谁、谁影响谁、谁创立了什么）。GraphRAG 构建知识图谱的方式，是用 LLM 对每个文本块做"抽象摘要"——不是复述原文，而是提炼出结构化的实体和关系。实体：名称、类型、描述（"NeoChip：专注于可穿戴设备和物联网低功耗处理器的公司"）关系：源实体、目标实体、关系描述、关系强度（0-10分）声明（claims）：关于实体的可验证事实陈述。
2026-04-14 01:27:53
452
原创 论文解读：检索越多越好？SELF-RAG给大模型装上了反思开关
SELF-RAG解决的，不只是一个工程问题——它解决的是大模型与外部知识之间关系的根本性矛盾。旧范式里，检索是输入端的预处理步骤，生成是输出端的独立行为。SELF-RAG把检索变成了模型内部决策的一部分，把质量评估编织进了生成的每一步。这让大模型第一次真正拥有了一种"自知之明"——知道自己什么时候需要帮助，知道拿到的帮助有没有价值，知道自己说的话有没有依据。未来有几个值得关注的演化方向：第一，反思标记的扩展。SELF-RAG目前定义了四种反思标记，涵盖检索、相关性、支持度和效用。
2026-04-13 01:24:38
451
原创 Agent--Memory
memory对agent来说，就像记忆对人类的作用一样，日常的每一件事，如果跟记忆里有对应上的话，相应的事情都会弹出来。memory就是agent在处理时，会自动检测是否会跟存储的数据对应，就跟人类一样会记得刚才的对话，曾经做过的事，也会累计经验，如果曾经有的事做错了，后续知道了正确的处理方式，就会记住它并在下次遇到类似的事时避免错误记忆分为短期、中期、长期记忆。
2026-04-12 01:19:58
88
原创 Agent学习--LLM--推理熵
平时我们用大模型的时候，可以看到虽然最后出来的是一大段话，但是实际上一般都是采用的是流式输出，即一个字一个字的输出出来，而这每个字的生成，本质是agent在不断地推理下一个字或者词是什么，当它遇到关键决策点时，比如在一个需要推理的题目中决定下一步是用“因为”、“所以”还是“假设”，就会产生犹豫，此时的agent就像人类一样对不确定的事情会纠结或者迷茫，而agent在思考或决策时的“不确定性”或“迷茫”程度，就是推理熵。
2026-04-10 23:30:14
270
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人