Shea的博客

二叉树搜索（Binary Tree Search）模型通过二叉树搜索为每个子查询探索两种策略：直接使用参数化知识或检索外部知识库。这不仅分解了问题，还考察了不同检索选择对最终答案的影响。🔍模仿学习（Imitation Learning）通过合成数据，让模型学习最优的推理路径，即在最小化检索成本的同时生成正确答案。这一步骤让模型学会了如何高效地分解问题并生成中间答案。🎓链式校准（Chain of Calibration）这一步进一步优化模型对自身知识边界的认知。

LLM增强的强化学习为解决传统RL的诸多挑战提供了新的思路和方法。LLM作为信息处理器、奖励设计者和决策者，分别从数据处理、奖励设计和决策支持等方面为RL注入了强大的能力。这种结合不仅让智能体能够更好地理解和处理多模态信息，还提高了学习效率和泛化能力，为RL在复杂任务中的应用开辟了新的可能。🌟。

此外，AGILE框架还创新性地引入了主动寻求人类专家建议的能力，使代理在面对复杂问题时能够及时获取准确答案，并从中学习和积累知识，以适应新任务。例如，在ProductQA任务中，agile-vic13b-ppo模型的总性能得分比GPT-4高出9.2%，在MedMCQA任务中，agile-mek7b-ppo模型的准确率从基础模型的53.4%提升至85.2%，超越了GPT4-MedPrompt的79.1%的准确率。执行器则根据LLM的指令，执行相应的操作，并将结果反馈给LLM，形成一个闭环的交互过程。