rockkiller71-优快云博客

原创 LLMs作为强Zero-shot的查询似然模型

本文探讨了利用开源大语言模型（LLM）实现零样本文档排序的方法。研究证明，未经微调的基座模型（如LLaMA）在查询似然模型（QLM）任务中表现优于指令微调模型，展现了强大的零样本语义理解能力。作者提出混合检索策略，结合BM25与LLM的QLM分数（20%+80%），显著提升了检索效果。实验在BEIR基准的四个领域数据集上进行，验证了方法的跨领域适应性。研究还揭示了以往"零样本"模型可能存在的任务泄露问题，并提供了详细的复现指南，包括显存优化、环境配置等实用技巧。

2025-12-18 23:38:45 622

原创 Reflexion论文和框架详解（附demo版）

摘要：本文提出Reflexion框架，一种基于语言反思的强化学习范式，通过语言反馈而非参数调整来优化大型语言模型（LLM）智能体的表现。该方法包含三个核心组件：执行任务的演员模型、评估质量的评估器模型和生成语言反馈的自我反思模型。Reflexion利用LLM的文本理解能力，将环境反馈转化为语义梯度指导后续决策，模拟人类通过内省学习的过程。实验表明该方法在编程等任务中表现优异，但也面临数据污染、局部最优和评估器依赖等挑战。文章还提供了优化后的ReflexionAgent实现代码，通过智能终止条件提升迭代效率。

2025-12-15 16:45:19 1112

原创 ReAct的论文思想剖析及demo实现

本文提出ReAct框架，通过思考-行动-观察的循环机制，将大语言模型的推理能力与外部工具调用能力有机结合。文章详细阐述了ReAct的形式化定义、提示工程实现及与基线方法的对比，同时指出其面临上下文窗口爆炸、工具调用脆弱性等局限性。最后介绍了ReAct与其他范式（如Reflexion、Toolformer）的联系，并提供了优化后的Python实现方案，包括改进的解析器和智能工具执行器。该框架为构建兼具逻辑深度和现实交互能力的智能体提供了新思路。

2025-12-14 22:05:08 1249

原创 Plan-and-Solve 论文的方法论详解

本文系统分析了大型语言模型从微调范式到提示范式的演进，重点探讨了思维链(CoT)技术的发展。研究指出传统Zero-shot-CoT存在步骤缺失、计算错误等问题，提出了创新的Plan-and-Solve(PS)提示方法。PS通过"理解问题-制定计划-执行计划"的结构化思维，显著提升了模型推理能力。进一步优化的PS+方法引入变量提取和中间计算，将GSM8K数据集准确率提升至69%。研究对比了PS与ReAct、ToT等方法的异同，并指出其存在幻觉计划、提示敏感等局限性。该工作为提升LLM推理能力提供了实用解决方案

2025-12-13 14:28:25 1142

rockkiller的博客

原创 LLMs作为强Zero-shot的查询似然模型

原创 Reflexion论文和框架详解（附demo版）

原创 ReAct的论文思想剖析及demo实现

原创 Plan-and-Solve 论文的方法论详解

原创 ToT（Tree of Thoughts）论文的核心架构

原创 ToT 24 Games Solver

原创 LangChain源码分析之JSONLoader

原创 LLMs-from-scratch学习4

原创 LLMs-from-scratch学习3

原创 LLMs-from-scratch学习2

原创 LLMs-from-scratch学习

空空如也

空空如也