AI教父吴恩达：一文简单掌握AI Agent基石概念“反思Reflection”

本文链接：https://blog.youkuaiyun.com/bagell/article/details/147162212

随着Manus事件，AI Agent暴露在越来越多普通人的视野。在2024年初，AI教父吴恩达就已表达对Agent领域的发展十分看好。***今天来分享一下吴恩达老师关于Reflection的内容。****Reflection（反思）则是Agent几大能力中的基石，使Agent能够分析自身的行动、行为和输出。
*

关于吴恩达 *Coursera的联合创始人|Landing.ai的创始人兼CEO|deeplearning创立者*

吴恩达（Andrew Ng）是一位享誉全球的人工智能领域专家，斯坦福大学教授，谷歌Deepmind联合创始人，百度前首席科学家。致力于推动深度学习技术的普及和应用，在机器学习和人工智能领域做出了开创性贡献，他通过Coursera平台开设的机器学习课程，帮助全球数百万学习者进入人工智能领域，被誉为“AI教父”。

一、关于Reflection

**Reflection（反思）**，是一种常见且实用的Agent设计范式，也是吴恩达推崇的4种Agent设计范式之一**。他将**AI 代理工作流分为四种设计*范式，*认为这些模式将在2024年推动重大进展。这四个设计范式分别为:

反思、工具使用、规划和多代理协作

反****思让代理工作流（ Agentic workflow）不是直接LLM生成其最终输出，而是通过LLM多次提示，使其有机会逐步构建更高质量的输出。

我们可能有过这样的经验：使用 ChatGPT/Claude/Gemini，得不满意的输出，于是提供关键反馈以帮助LLM改进其响应吗，以获得获得更好反馈。

那么，如果我们将提供关键反馈的步骤全部自动化，让模型自动评价自己的输出并改进其响应如何？而这就是 Reflection（反思**）** 的关键。

二、举个栗子

吴老师举了一个用LLM编写代码任务的例子。我们可以提示它直接生成所需的代码来执行任务****X。之后，我们可以让它来反思自己的输出（output），命令如下：

这是用于任务 X 的代码：[以前生成的代码]
仔细检查代码的正确性、风格和效率，并就如何改进它给出建设性的批评。
这会导致他们LLM发现问题并提出建设性的建议。
接下来，我们可以用内容提示 LLM ，包括（i）之前生成的代码和建设性反馈，以及（ii）要求它运用反馈重写代码。
这可能会导致更好的反馈。
重复批评/重写过程可能会产生进一步的改进。
这种自我反思过程LLM发现差距并改进其在各种任务上的输出，包括生成代码、编写文本和回答问题。

三、我也来举个栗子

在 Agent世界的概念里，反****思就像是人做事之后的“复盘”。比如，你打了一场篮球比赛，赛后你回想自己刚才在场上的表现，觉得哪里做得好，哪里做得不好，下次该怎么改进，这就是反****思。

对于 Agent 来说也是一样的。它在执行一个任务或者做出一个决策之后，会回过头来审视自己的行为和结果。它会思考**“我刚才的这个决定是不是最优的？”“有没有更好的方法来完成这个任务？”“我是不是哪里考虑得不够周全？”等等。通过这样的反****思**，Agent 可以总结经验教训，从而在以后的任务中表现得更好。

再举个例子，一个智能导航系统就是一个简单的 Agent。它在给你规划路线的时候，会根据实时路况选择一条它认为最快的路。但是，当它发现路上出现了堵车等意外情况时，它就会反思“我刚才选的这条路好像不太好”，然后迅速调整策略，重新规划路线。这样，它就能更好地完成帮你快速到达目的地的任务。

四、码农如何驾驭反思？

我们可以通过提供工具，来帮助LLM评估的输出;例如，通过几个单元测试运行其代码，用于检查它是否在测试用例上生成正确的结果，或者搜索了Web以仔细检查它的文本输出。然后它可以反思它发现的任何错误，并找到改进的想法。

此外，我们可以使用多代理框架实现Reflection。吴老师发现创建两个不同的代理很方便，一个Agent用提示词生成良好的结果，另一个Agen则被提示对第一个代理的输出结果，提出建设性的批评。两个代理之间由此产生的讨论，进一步引发反馈结果的优化。吴老师在某些情况下，会被它（反****思）对应用程序的改进感到惊喜。