rockkiller的博客

本文探讨了利用开源大语言模型（LLM）实现零样本文档排序的方法。研究证明，未经微调的基座模型（如LLaMA）在查询似然模型（QLM）任务中表现优于指令微调模型，展现了强大的零样本语义理解能力。作者提出混合检索策略，结合BM25与LLM的QLM分数（20%+80%），显著提升了检索效果。实验在BEIR基准的四个领域数据集上进行，验证了方法的跨领域适应性。研究还揭示了以往"零样本"模型可能存在的任务泄露问题，并提供了详细的复现指南，包括显存优化、环境配置等实用技巧。

摘要：本文提出Reflexion框架，一种基于语言反思的强化学习范式，通过语言反馈而非参数调整来优化大型语言模型（LLM）智能体的表现。该方法包含三个核心组件：执行任务的演员模型、评估质量的评估器模型和生成语言反馈的自我反思模型。Reflexion利用LLM的文本理解能力，将环境反馈转化为语义梯度指导后续决策，模拟人类通过内省学习的过程。实验表明该方法在编程等任务中表现优异，但也面临数据污染、局部最优和评估器依赖等挑战。文章还提供了优化后的ReflexionAgent实现代码，通过智能终止条件提升迭代效率。

本文提出ReAct框架，通过思考-行动-观察的循环机制，将大语言模型的推理能力与外部工具调用能力有机结合。文章详细阐述了ReAct的形式化定义、提示工程实现及与基线方法的对比，同时指出其面临上下文窗口爆炸、工具调用脆弱性等局限性。最后介绍了ReAct与其他范式（如Reflexion、Toolformer）的联系，并提供了优化后的Python实现方案，包括改进的解析器和智能工具执行器。该框架为构建兼具逻辑深度和现实交互能力的智能体提供了新思路。

本文系统分析了大型语言模型从微调范式到提示范式的演进，重点探讨了思维链(CoT)技术的发展。研究指出传统Zero-shot-CoT存在步骤缺失、计算错误等问题，提出了创新的Plan-and-Solve(PS)提示方法。PS通过"理解问题-制定计划-执行计划"的结构化思维，显著提升了模型推理能力。进一步优化的PS+方法引入变量提取和中间计算，将GSM8K数据集准确率提升至69%。研究对比了PS与ReAct、ToT等方法的异同，并指出其存在幻觉计划、提示敏感等局限性。该工作为提升LLM推理能力提供了实用解决方案

本文系统分析了思维树（ToT）这一新型大语言模型推理框架。首先对比了输入输出提示、思维链及其自洽变体等传统方法的数学形式化表达及其局限性。重点阐述了ToT作为元算法的创新性：1）将问题分解为可评估的离散思维单元；2）采用采样/提案策略生成候选；3）利用语言模型本身作为评估器；4）结合经典搜索算法（BFS/DFS）。研究指出ToT虽在计算成本上存在劣势，但其成功率显著提升。未来方向包括将搜索机制内化到模型训练中，以及结合外部工具提升评估准确性。该框架为大语言模型的系统性推理提供了新范式。