<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[rockkiller的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/rockkiller</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; rockkiller]]></copyright><item><title><![CDATA[LLMs作为强Zero-shot的查询似然模型]]></title><link>https://blog.youkuaiyun.com/rockkiller/article/details/156058150</link><guid>https://blog.youkuaiyun.com/rockkiller/article/details/156058150</guid><author>rockkiller</author><pubDate>Thu, 18 Dec 2025 23:38:45 +0800</pubDate><description><![CDATA[本文探讨了利用开源大语言模型（LLM）实现零样本文档排序的方法。研究证明，未经微调的基座模型（如LLaMA）在查询似然模型（QLM）任务中表现优于指令微调模型，展现了强大的零样本语义理解能力。作者提出混合检索策略，结合BM25与LLM的QLM分数（20%+80%），显著提升了检索效果。实验在BEIR基准的四个领域数据集上进行，验证了方法的跨领域适应性。研究还揭示了以往&quot;零样本&quot;模型可能存在的任务泄露问题，并提供了详细的复现指南，包括显存优化、环境配置等实用技巧。]]></description><category></category></item><item><title><![CDATA[Reflexion论文和框架详解（附demo版）]]></title><link>https://blog.youkuaiyun.com/rockkiller/article/details/155944865</link><guid>https://blog.youkuaiyun.com/rockkiller/article/details/155944865</guid><author>rockkiller</author><pubDate>Mon, 15 Dec 2025 16:45:19 +0800</pubDate><description><![CDATA[摘要：本文提出Reflexion框架，一种基于语言反思的强化学习范式，通过语言反馈而非参数调整来优化大型语言模型（LLM）智能体的表现。该方法包含三个核心组件：执行任务的演员模型、评估质量的评估器模型和生成语言反馈的自我反思模型。Reflexion利用LLM的文本理解能力，将环境反馈转化为语义梯度指导后续决策，模拟人类通过内省学习的过程。实验表明该方法在编程等任务中表现优异，但也面临数据污染、局部最优和评估器依赖等挑战。文章还提供了优化后的ReflexionAgent实现代码，通过智能终止条件提升迭代效率。]]></description><category></category></item><item><title><![CDATA[ReAct的论文思想剖析及demo实现]]></title><link>https://blog.youkuaiyun.com/rockkiller/article/details/155917931</link><guid>https://blog.youkuaiyun.com/rockkiller/article/details/155917931</guid><author>rockkiller</author><pubDate>Sun, 14 Dec 2025 22:05:08 +0800</pubDate><description><![CDATA[本文提出ReAct框架，通过思考-行动-观察的循环机制，将大语言模型的推理能力与外部工具调用能力有机结合。文章详细阐述了ReAct的形式化定义、提示工程实现及与基线方法的对比，同时指出其面临上下文窗口爆炸、工具调用脆弱性等局限性。最后介绍了ReAct与其他范式（如Reflexion、Toolformer）的联系，并提供了优化后的Python实现方案，包括改进的解析器和智能工具执行器。该框架为构建兼具逻辑深度和现实交互能力的智能体提供了新思路。]]></description><category></category></item><item><title><![CDATA[Plan-and-Solve 论文的方法论详解]]></title><link>https://blog.youkuaiyun.com/rockkiller/article/details/155886624</link><guid>https://blog.youkuaiyun.com/rockkiller/article/details/155886624</guid><author>rockkiller</author><pubDate>Sat, 13 Dec 2025 14:28:25 +0800</pubDate><description><![CDATA[本文系统分析了大型语言模型从微调范式到提示范式的演进，重点探讨了思维链(CoT)技术的发展。研究指出传统Zero-shot-CoT存在步骤缺失、计算错误等问题，提出了创新的Plan-and-Solve(PS)提示方法。PS通过"理解问题-制定计划-执行计划"的结构化思维，显著提升了模型推理能力。进一步优化的PS+方法引入变量提取和中间计算，将GSM8K数据集准确率提升至69%。研究对比了PS与ReAct、ToT等方法的异同，并指出其存在幻觉计划、提示敏感等局限性。该工作为提升LLM推理能力提供了实用解决方案]]></description><category></category></item><item><title><![CDATA[ToT（Tree of Thoughts）论文的核心架构]]></title><link>https://blog.youkuaiyun.com/rockkiller/article/details/155864221</link><guid>https://blog.youkuaiyun.com/rockkiller/article/details/155864221</guid><author>rockkiller</author><pubDate>Fri, 12 Dec 2025 23:12:14 +0800</pubDate><description><![CDATA[本文系统分析了思维树（ToT）这一新型大语言模型推理框架。首先对比了输入输出提示、思维链及其自洽变体等传统方法的数学形式化表达及其局限性。重点阐述了ToT作为元算法的创新性：1）将问题分解为可评估的离散思维单元；2）采用采样/提案策略生成候选；3）利用语言模型本身作为评估器；4）结合经典搜索算法（BFS/DFS）。研究指出ToT虽在计算成本上存在劣势，但其成功率显著提升。未来方向包括将搜索机制内化到模型训练中，以及结合外部工具提升评估准确性。该框架为大语言模型的系统性推理提供了新范式。]]></description><category></category></item><item><title><![CDATA[ToT 24 Games Solver]]></title><link>https://blog.youkuaiyun.com/rockkiller/article/details/155859962</link><guid>https://blog.youkuaiyun.com/rockkiller/article/details/155859962</guid><author>rockkiller</author><pubDate>Fri, 12 Dec 2025 17:11:45 +0800</pubDate><description><![CDATA[24点游戏ToT求解器 基于Tree of Thoughts（ToT）框架实现的24点游戏求解器，通过GPT-4o-mini模型进行中间状态评分与筛选。该实现采用广度优先搜索策略，相比传统暴力搜索，该算法能够更高效地发现多样化的解法路径，特别适合解决24点这类需要组合运算的数学游戏。]]></description><category></category></item><item><title><![CDATA[LangChain源码分析之JSONLoader]]></title><link>https://blog.youkuaiyun.com/rockkiller/article/details/154256239</link><guid>https://blog.youkuaiyun.com/rockkiller/article/details/154256239</guid><author>rockkiller</author><pubDate>Sat, 01 Nov 2025 23:14:50 +0800</pubDate><description><![CDATA[本文分析了LangChain中JSONLoader的源码。
LangChain的JSONLoader通过集成强大的jq查询语言，实现了对JSON数据的灵活、高效解析。它采用预编译和懒加载策略优化性能，并能智能处理不同的文件格式。其设计精妙之处在于提供了一个关键开关，让内容提取方式在简单键值访问与复杂表达式查询间切换，完美平衡了易用性与灵活性。此外，它还支持通过自定义函数来丰富元数据，并结合早期验证机制，共同构成了一个既健壮又高度可定制的文档加载解决方案。


]]></description><category></category></item><item><title><![CDATA[LLMs-from-scratch学习4]]></title><link>https://blog.youkuaiyun.com/rockkiller/article/details/147701925</link><guid>https://blog.youkuaiyun.com/rockkiller/article/details/147701925</guid><author>rockkiller</author><pubDate>Sun, 04 May 2025 23:39:38 +0800</pubDate><description><![CDATA[在先前的学习中，我们学习了数据集的准备和注意力机制，在本章中我们可以学习到LLM里面Stage1中最后一步：类GPT LLM架构，可以code一个类GPT模型中的所有组件1.总体code步骤。]]></description><category></category></item><item><title><![CDATA[LLMs-from-scratch学习3]]></title><link>https://blog.youkuaiyun.com/rockkiller/article/details/147677042</link><guid>https://blog.youkuaiyun.com/rockkiller/article/details/147677042</guid><author>rockkiller</author><pubDate>Sat, 03 May 2025 14:28:11 +0800</pubDate><description><![CDATA[无参数的意思是不包含任何可训练的权重。输入一个文本：“Your journey starts with one step”，此时已根据学习2中的内容嵌入到3维token中设这个文本的token序列为x(1)到x(T)，为输入序列中的每个元素x(i)计算上下文向量z(i),其中z(i)是x(1)到x(T)的加权求和。1.什么是上下文向量？上下文向量是针对特定输入的“上下文”相关表示。2.计算整体流程：以第二个输入 x(2) 为例，说明具体计算过程。第二个上下文向量 z(2) 是对所有输入。]]></description><category></category></item><item><title><![CDATA[LLMs-from-scratch学习2]]></title><link>https://blog.youkuaiyun.com/rockkiller/article/details/147647592</link><guid>https://blog.youkuaiyun.com/rockkiller/article/details/147647592</guid><author>rockkiller</author><pubDate>Thu, 01 May 2025 17:51:36 +0800</pubDate><description><![CDATA[这里提供了一个后续使用案例raw_text,break在本章中还有一些额外的部分，挖坑后续学完整体继续深入。]]></description><category></category></item><item><title><![CDATA[LLMs-from-scratch学习]]></title><link>https://blog.youkuaiyun.com/rockkiller/article/details/147638112</link><guid>https://blog.youkuaiyun.com/rockkiller/article/details/147638112</guid><author>rockkiller</author><pubDate>Wed, 30 Apr 2025 22:48:35 +0800</pubDate><description><![CDATA[docker没运行成功，跑了标红。后续跟着setup里的1and2完成配置(numpy包版本冲突太多）]]></description><category></category></item></channel></rss>