
提示:基础
所有生产级人工智能系统始于精心编写的提示。用过ChatGPT或Claude就知道,输入内容模型会回应。生产环境的提示精心设计,非手动输入。提示结构框架包含五个组成部分,定义越精确输出越可预测。提示类型有三种策略,各在简洁性和准确性间权衡。零样本学习法简单,给任务无示例期望自行完成;少样本训练法要提供输入输出示例;思维链要求逐步推理得出结论,是处理复杂分析任务理想选择。
从随意使用到生产系统
用ChatGPT或Claude时,手动引导对话有一套方法。但生产系统需每天可靠自动执行操作,不能重试。解决方案是分解任务,分配给专门AI代理,使系统运行快、可预测且易调试。
子代理和模型参数
子代理是分配到特定狭窄任务的AI模型,可使用小而经济的模型。模型运行要调整参数,温度控制输出创造性或随机性,任务需一致性降低温度,需创造性提高温度。
智能体工作流范式
连接子代理有链式和编排两种范式。链式工作流简单,代理输出依次传递,LangChain是构建此类工作流流行框架。编排工作流设编排器代理,可循环调用子代理,LangGraph用于基于图的工作流。任务“先做A,再做B,再做C”用链式流程,“弄清楚做什么再调整”用协调器。
能动模式
单个智能体执行任务有“反馈”(ReAct)和“计划与执行”(Plan and Execute)模式。ReAct循环执行推理、行动、观察步骤,适合未知答案路径任务;计划与执行先构建计划再执行,优势是可预测和高效,但执行僵化。任务探索性强用ReAct,定义明确用Plan and Execute。
情境工程
上下文工程研究注入提示信息的方法。简单做法是塞所有数据,但成本高。明智做法是动态获取相关信息,数据在结构化数据库用SQL查询,非结构化数据用RAG。上下文工程重精准,干扰信息少智能体表现好。
能力工程
能力工程关注智能体能力和行为,常用工具是技能(Skills),是Markdown文件描述行为。如电子邮件回复代理有规则文件,代理按规则行动,技能使行为可预测且易更新。
RAG与微调
RAG改变模型获取信息,成本低可随时更新;微调改变模型内部权重,耗费资源。先尝试RAG,确认瓶颈在模型行为或思维模式时再微调。
工具调用和MCP
AI代理有时需实时外部数据,用工具获取。定义工具给智能体规范,智能体按需调用。MCP是开放标准,外部服务发布工具,代理连接服务器自动发现和使用工具。
生产环境中的可靠性:判断代理
生产环境保证智能体系统可靠运行难,可靠性包括输出结果和系统稳定。评判代理审查输出,部署有顺序和并行两种方式。评判模型与系统模型不同,启用“扩展思考模式”提高评判准确性。LLM网关控制流量,进行速率限制管理和故障转移。
智能体系统中的记忆
对话长或工作流崩溃时,内存管理重要。ChatGPT的蛮力方法不可扩展,添加摘要代理生成精简内存对象。多步骤工作流用检查点机制,失败时从上一成功点继续。
可观察性:了解实际发生了什么
可观测性记录智能体执行步骤,常用工具是Langfuse。其重要性体现在调试和评估,像系统的黑匣子记录仪。
人机交互(HITL)
并非所有决策由AI代理做,HITL在工作流设人工审核环节。简单形式是聊天界面,更好是专门设计界面。HITL对不可逆操作设审核点,好的HITL设计是UX问题。
结构化输出
LLM默认生成自由格式文本,生产环境中智能体输出需结构化。定义精确模式验证输出,多数LLM提供商和框架支持。
综合运用
生产环境中智能体系统各组件协同工作,提示层给指令,子智能体分解工作,上下文工程提供信息等。理解这些概念可评估新事物。
2150



被折叠的 条评论
为什么被折叠?



