我们花一年打造AI智能体，踩过的8个坑和收获的8条真经

关注

原创最新推荐文章于 2026-11-10 00:57:14 发布 628 阅读 AI 写同款· GEO 优化 ›

今天我们推出了 PostHog AI，这是内置于 PostHog 的 AI 智能体。经过一年的开发，我们从黑客马拉松期间制作的第一个聊天原型走了很长的路。一切始于只有一个工具：“创建趋势图表”——没有真正的智能体能力[1]。

现在，PostHog AI 可以通过数十种工具访问您的数据和设置，并不知疲倦地循环工作，直到完成您交给它的任务。就像产品分析师一样，它创建产品使用情况的多步骤分析，编写 SQL 查询，设置新的功能标志和实验，深入研究影响重大的错误——以及更多，所有这些都在 PostHog 中完成。得益于全面的测试期，它已经被数千名用户每周使用[2]。

这条路充满了冒险。智能体是矛盾的：有人说智能体设计很难[3]，他们是对的！另一些人说构建一个智能体非常简单[4]——奇怪的是，这在同一时间也是真的。

以下是我们到目前为止在构建高效智能体方面学到的经验。

小心模型改进的推土机效应

构建一年中唯一不变的是：模型改进的影响比你最初想象的要大得多。令人震惊的是，推理模型在 12 个月前还处于实验阶段，因为今天推理对 PostHog AI 的能力至关重要。工具使用已经大幅改善，因为 2025 年 11 月的前沿模型能够以更高的可靠性理解复杂工具。我们目前使用 Claude Sonnet 4.5 作为核心智能体循环，因为它在质量、速度和成本之间达到了最佳平衡——但即使这个也会在你意识到之前就过时了。

我们实施中与模型相关的两个阶段性变化是：

估算模型升级的真正影响仍然很困难！Sean Goedecke 的一篇关于这个话题的好文章[5]。虽然进步不像 GPT-2 vs. GPT-3 那样明显，但它仍然是无情的。

智能体胜过工作流

基于图的工作流似乎是完成工作的正确选择。在 GPT-4o 时代，使用相同的系统提示在循环中调用工具是造成混乱的根源，因此我们花了几个月时间追寻新的基于图的工具编排方式。看看我们经历过的架构迭代，那时我们的助手是一只名叫 Max 的刺猬[6]。最初的版本甚至不能用文本回答问题，无论用户输入什么，它只能创建查询！

事实是，图是编排自由形式工作的糟糕方式。在图中，LLM 无法自我纠正，上下文也太容易丢失。今天，得益于模型能力的进步，PostHog AI 的架构令人愉快地简单：

通过循环反馈，LLM 能够执行数十个步骤，同时持续验证输出。硬编码的工作流执行起来可能很便宜，但当它实际上无法完成工作时，这一切都是徒劳的。

图表中那个奇怪的"切换模式工具"是什么？嘘，这是我们不那么秘密的秘诀。切换模式是工具搜索的一种变体——对于将智能体的工具数量扩展到 PostHog 的整个表面区域至关重要。关于这个主题的更多内容将在即将发布的单独文章中介绍。

单一循环胜过子智能体

即使在智能体循环中，也很容易将任务执行组织成专门的子智能体。想出这些架构不是感觉很聪明吗？“Widget CEO 将工作委托给 Widget 工程师，然后工作将由 Widget 测试人员验证，并得到 Widget 产品经理的意见”。

虽然这个想法很聪明，但结果却很……愚蠢。上下文对 LLM 来说就是一切——当每一层抽象都会引入上下文的丢失时，将工具串联在一起和自我纠正路线的能力就会消失。子智能体仍然有其用武之地——当你想并行化工作时，这就是要走的路。重要的是委派的任务是自包含的，最好是独立的。

正如我们在 Claude Code 的成功中看到的那样，使用简单工具的单个 LLM 循环会产生令人难以置信的结果。愿上帝保佑涌现行为。

待办事项是一种超能力

对，所以关键在于拥有单一的 LLM 循环和单一的消息历史，这就神奇地更好了。

好吧，还有一个秘密成分：todo_write 工具。如此简单和通用，它是保持 LLM 在正轨上的自然方式。每次 LLM 在步骤结束时使用它，它都会强化它接下来需要做什么——这个工具实际上不需要做任何事情。

突然之间，智能体不再在几次工具调用后迷失方向，而是可以继续前进，不断纠正路线。编写待办事项是那些直觉上的超能力之一，就像思维链曾经那样。

更广泛的上下文是关键

我提到上下文很重要吗？它确实很重要，在任务的每一步都很重要，因为人们以最模糊的方式定义任务。你会如何回答"用户在 cfmp 转化中哪里流失了"？看起来像是偷偷混入了一堆拼写错误——除非你知道 CFMP 是用户提供的产品，然后你需要了解它如何融入他们的世界（这是一个真实的例子）。你的智能体需要的是一个 CLAUDE.md 等效物——始终附加的核心上下文。

核心上下文极大地改善了智能体的轨迹，但这对用户来说是一个新的待办事项，我们都不喜欢新工具创建设置工作。我们发现核心上下文的创建必须轻松，但不能强制。最终，正如所有伟大的艺术家所做的那样，我们从最好的那里偷师——并实现了 /init 命令，从 Claude Code 那里借鉴而来。

在 PostHog AI 中，/init 通过多步骤网络搜索了解你的产品和业务（目前使用 GPT-5-mini）。结果形成智能体的项目级记忆[7]。如果你的数据不包含要使用的 URL，会直接询问几个问题，但我们尽量将其最小化。

上下文无处不在。它存在于网络上，但也存在于你的 Slack 中，在你的电子邮件收件箱中，在你的笔记应用中。这是应用 AI 中已经有许多解决方案但尚未解决的问题之一。我们有一些想法，请继续关注。

展示每一步

我们曾尝试隐藏一些看起来粗糙的细节。完整的推理链、失败的工具调用、工具调用参数，全部从用户视野中隐藏。持续的反馈是：“我可以看到输出，但当过程是个谜时很难信任它。”

PostHog AI 从那时起开始流式传输每个工具调用和推理令牌。事实证明人类就像 LLM——或者也许是相反的。无论结果多么好，黑盒都是无趣的。细节让我们对正在发生的事情充满信心。展示一切，好的、坏的、丑陋的。

框架被认为有害

早期，我们从 OpenAI Python SDK 迁移到 LangChain + LangGraph。今天，我们绝对不会这样做。

每次使用框架，你都会锁定在它的生态系统中。还记得 JavaScript 每秒都有一个新的前端框架的梗吗？现在的 LLM 就是这样，只是 LLM 的演变速度比 JS 快得多，而框架提供的价值更少。生态系统很脆弱。

像 LiteLLM 或 Vercel AI 这样的 LLM 调用抽象在 AI 提供商添加新模型或新功能时就会崩溃。看看：网络搜索结果一团糟，因为 OpenAI 和 Anthropic 的格式完全不同，而框架试图维护一个门面。

更糟糕的是：像 LangGraph 这样的 LLM 调用编排器。虽然概念上很优雅，但它们会将你锁定在特定的思维方式中，当这种方式**变得过时[8]**时——祝你好运重构所有东西。

AI 有一天可能会确定它的 React，但现在框架战争仍在激烈进行。最好保持中立和低级别。归根结底，这只是调用函数。

评估远非你所需要的全部

**有些人[9]**说评估可以是你所需要的全部。对于基础模型：当然，这些数据集是基础性的。对于智能体：评估是一个很好的工具，但事情变得微妙。

现实是粗糙的：对于许多真实世界的多步骤任务，设置一个真实复杂的环境比构建智能体本身更具挑战性。如果你想判断实际性能，这样的环境必须支持智能体可以进行的每一个可能的工具调用。现实有惊人的细节[10]，毕竟。你可以通过评估轻松涵盖预期的快乐路径，但很快用户会创建许多你不会想到的路径。

我们发现比原始评估更重要的是：查看实际使用情况，并临时评估智能体的工作。为此，我们一直在运行 Traces Hour——PostHog AI 团队每周举行的聚会，100% 专注于分析来自生产环境的 LLM 跟踪，即真实的用户交互。（插播：**PostHog LLM 分析[11]**在这方面非常棒。）当评估源于此类调查时，它们最有意义。当你掌握用户体验时，工程效率会提高 10 倍，这对构建智能体也适用。