RuiBo_Qiu-优快云博客

原创 DPO 训练 loss 公式推导

本文介绍了DPO（Direct Preference Optimization）算法的核心思想与推导过程。传统RLHF需要先训练奖励模型(RM)，再通过强化学习微调语言模型。DPO创新性地提出了解析解方法，直接建立最优策略π*与奖励函数的关系（公式6），从而绕过RM训练步骤。关键推导包括：1) 使用Bradley-Terry模型将评分转换为偏好概率；2) 在RL目标函数中加入KL散度约束（公式5）；3) 推导出最优策略的解析表达式（公式6）。最终通过数学变换（公式7），直接用语言模型替代奖励函数，实现了更高

2026-04-08 23:16:52 467

原创 LLM的神经网络之谜: 神经网络是简单的线性计算加非线形激活的堆叠

前馈神经网络（FFN）是深度学习和大语言模型的核心计算单元，本质上是多层感知机（MLP），通过输入层、隐藏层和输出层串行堆叠而成。隐藏层通过非线性激活函数（如ReLU）实现特征变换，而输出层保持线性以避免限制表达能力。FFN的强大源于万能逼近定理，即通过足够多的神经元和非线性激活可以逼近任何连续函数。在Transformer架构中，FFN先升维提取特征再降维输出，且最后一层不加激活函数以保留完整特征范围和配合残差连接。这种设计使FFN成为AI模型模拟复杂规律的关键组件。

2026-03-23 12:07:54 799 2

原创 LLM (大模型) 从模型结构到推理到训练的底层原理到应用落地的全栈剖析

本文系统梳理了大语言模型（LLM）全栈技术学习路线，包含四大核心模块：基础理论、RAG技术、Agent开发和模型微调部署。作者汇总了37篇技术博客，涵盖从Transformer底层原理到上层应用开发的全流程知识体系。内容包含术语解析、Prompt工程、向量检索算法、智能体架构设计、微调训练方法等，为不同阶段的开发者提供系统化学习路径。该导航将持续更新，建议收藏以便查阅最新技术动态。

2026-03-19 18:24:11 1248

原创【LLM进阶-后训练&部署】6. LLM 量化与部署以及推理加速

摘要：大模型推理的显存与算力优化技术当前大模型推理面临显存带宽瓶颈，尤其在解码阶段陷入访存受限困境。部署框架通过分布式内存管理和调度优化突破物理限制：vLLM采用PagedAttention实现KV Cache分块管理，TensorRT-LLM利用CUDA Graphs和迭代级批处理提升吞吐量，SGLang通过Radix树优化复杂指令流。量化技术方面，GPTQ通过二阶误差补偿实现4bit权重压缩，AWQ识别关键权重通道保护，SmoothQuant平衡激活值与权重量化难度。硬件层面，Hopper架构的FP8

2026-03-19 18:13:52 568

原创【LLM进阶-后训练&部署】5. LLM 训练框架与并行策略

摘要：本文分析了大模型训练的三大主流框架（Megatron-LM、DeepSpeed、Colossal-AI）及PyTorch FSDP的特性与优劣势，重点比较了它们在性能、兼容性和易用性方面的差异。同时详细解析了分布式训练的3D并行策略（数据并行、张量并行、流水线并行）原理及适用场景，并深入阐述了DeepSpeed ZeRO显存优化技术（ZeRO-1/2/3）的分级实现机制。文章指出，千亿参数大模型训练需组合多种并行策略，通过"通信换显存"的方式突破单卡限制，但会带来额外的通信开销调优

2026-03-19 17:15:42 795

原创【LLM进阶-后训练&部署】4. 偏好对齐训练方法 (DPO, PPO, GRPO, GKD等)

本文介绍了RLHF（基于人类反馈的强化学习）的标准流程与主流算法。标准流程分为三步：监督微调（SFT）、奖励模型训练（RM）和强化学习（RL）。重点分析了PPO和DPO两种强化学习算法：PPO通过奖励模型打分引导模型优化，但计算成本高；DPO则直接利用偏好数据对比学习，省去奖励模型训练环节，更高效稳定。两种方法均通过数学公式详细解析了其损失函数设计原理，并对比了优缺点。PPO性能上限高但资源消耗大，DPO作为轻量化方案已成为业界主流选择。

2026-03-19 16:32:47 1077

原创【LLM进阶-后训练&部署】3. PEFT训练 (参数高效微调，如LoRA等)

摘要：PEFT（参数高效微调）是一套针对大型预训练模型的高效微调方法，核心目标是以最小计算资源实现媲美全量微调的性能。主要方法包括：1）LoRA通过低秩矩阵分解大幅减少可训练参数；2）QLoRA结合4-bit量化和LoRA进一步压缩显存；3）AdaLoRA动态分配参数预算，实现分层自适应微调；4）DoRA通过权重分解独立优化幅度和方向。这些方法在Transformer的q/k/v/o等线性层应用，通过调节秩(r)、缩放系数(α)等关键参数平衡效果与效率。典型设置建议r=8/16、α=1-2倍r值。虽然显著降

2026-03-18 22:01:56 728

原创【LLM进阶-后训练&部署】2. 常见的全参数微调SFT方法

当前全参微调（SFT）方法论的前沿发展主要聚焦四大方向：快慢思考微调：通过长思维链（Long CoT）训练模型系统性思考，结合拒绝采样（RFT）自动筛选优质推理路径，并实现自适应快慢模式切换；智能体微调：采用ReAct范式训练工具调用能力，通过工作区机制优化长程任务管理，并探索推理与工具使用的解耦训练；抗干扰微调：引入System 2 Attention技术，强制模型先净化噪声上下文再生成答案； SFT与RL融合：通过冷启动SFT为强化学习铺垫基础，并利用蒸馏SFT实现大模型推理能力向小模型的高效迁移

2026-03-18 18:16:30 524

原创【LLM进阶-后训练&部署】1. 大语言模型全参数微调：从前向推理到反向传播的底层原理解析

本文系统讲解了大语言模型(LLM)的推理与训练原理，分为七大部分：1)前向传播流程，包括tokenizer、词嵌入和RoPE位置编码；2)训练数据构造与mask label处理；3)损失函数计算原理；4)反向传播与梯度下降；5)优化器权重更新机制；6)防止灾难性遗忘的KL散度正则化；7)全参数微调的显存优化技术。重点解析了RoPE旋转位置编码的数学原理，通过绝对位置旋转实现相对位置感知，使Attention内积仅依赖词间距。文章配有详细架构图，并提供了Transformer原理等前置学习资料。

2026-03-17 23:28:28 1321

原创【LLM基础】6. LLM 推理时的温度值、top_p、top_k等采样算法原理

本文深入解析了大语言模型（LLM）中影响输出稳定性的核心采样参数及其组合策略。首先介绍了Temperature、Top-k和Top-p三个关键参数的工作原理：Temperature通过缩放Logits改变概率分布形状；Top-k基于排名硬性截断候选词；Top-p则动态控制候选词质量。其次，详细说明了这些参数在推理框架中的串行处理流程：先温度缩放，再Top-k截断，最后Top-p截断。文章还提供了参数调优速查表，并针对需要绝对稳定性的场景提出了解决方案：设置Temperature=0启用贪心搜索，同时通过固定

2026-03-17 21:13:44 808

原创【LLM基础】0. LLM 相关的常见术语及其含义

本文系统梳理了大语言模型（LLM）的核心术语与关键技术，分为三大部分：模型架构、数据处理和推理策略。在模型架构方面，详细解析了Transformer、Embedding、自注意力机制等基础组件及其工作原理；在数据处理环节，重点介绍了分词方法（BPE）和特殊标记的作用；最后阐述了温度调节、Top-k/p采样等推理策略对生成质量的影响。这些概念共同构成了理解现代大语言模型如何"思考"和"创作"的技术框架，为深入掌握LLM提供了系统化的知识图谱。

2026-03-17 20:59:51 553

原创【LLM基础】0. LLM 相关的常见术语及其含义

本文系统介绍了大语言模型（LLM）的核心技术架构与工作原理，分为三大部分：模型基础架构、分词与数据处理、推理与解码策略。重点解析了Transformer架构及其关键组件（自注意力机制、位置编码、前馈网络等），详细说明了文本如何通过分词器转化为数字序列，并深入探讨了模型生成文本时的解码策略（温度参数、Top-k/Top-p采样等）。这些技术共同构成了现代大语言模型"思考"和"表达"的基础机制。

2026-03-17 15:18:02 595

原创【LLM进阶-Agent】13.function call vs mcp vs skills

摘要： LLM底层的工具调用本质都是指令遵从和结构化输出，区别在于应用架构层的实现方式。Function Call是最基础的原子能力，开发者需手动维护JSON Schema并解析输出。MCP（Model Context Protocol）通过标准化协议实现工具调用的解耦，采用C/S架构动态发现工具，避免重复开发。Skill则是更高层次的抽象，将复杂任务封装为子模块，支持动态生成和本地运行，强调Agent的自我学习能力。三者核心差异在于：Function Call是手动硬编码，MCP是标准化远程调用，Skil

2026-03-16 21:38:41 704

原创【LLM进阶-Agent】12. 多智能体 (AutoGen, MetaGPT, ChatDev) 介绍

本文解析了多智能体系统的三大框架：AutoGen、MetaGPT和ChatDev。AutoGen采用对话驱动的灵活拓扑结构，适合开放性任务但易发散；MetaGPT引入标准化作业程序(SOP)，通过发布-订阅机制实现高效协作，适用于严谨的瀑布流任务；ChatDev基于沟通链(ChatChain)实现软件开发，配置灵活但产出质量有限。三者各有侧重：AutoGen强调交互灵活性，MetaGPT注重流程控制，ChatDev关注微观对话机制。多智能体系统通过分工协作解决了单体Agent的上下文遗忘、规划能力弱等问题，

2026-03-16 18:00:08 849

原创【LLM进阶-Agent】11. MemGPT 介绍

摘要 MemGPT是一种突破大模型上下文限制的Agent架构，灵感源自操作系统的虚拟内存管理机制。它通过构建多级记忆系统（主上下文+外部存储）和主动记忆管理能力，解决了传统方法（如扩展上下文窗口或RAG）的局限性。MemGPT的核心创新在于让大模型自主决定记忆的存取，通过函数调用实现"换页"机制。技术实现上采用分层记忆设计（核心记忆、工作上下文、归档记忆）和主动干预策略，并可通过LangGraph框架构建状态流转的控制系统。这种架构显著提升了Agent在长对话和复杂任务中的表现，为LLM

2026-03-16 12:07:59 742

原创【LLM进阶-Agent】10. LATS (Language Agent Tree Search) 介绍

摘要：LATS架构演进与核心原理大模型智能体（LLM Agent）的演进路径经历了从ReAct到LATS的技术跃迁。ReAct虽开创了推理-行动模式，但缺乏纠错能力；Reflexion引入反思机制却仍限于单一路径优化。LATS通过融合蒙特卡洛树搜索（MCTS）和语言模型特性，构建了包含选择、扩展、评估、模拟、回溯、反思六步循环的全局搜索框架。其核心创新在于：采用UCT算法平衡探索与利用通过LLM生成多候选动作实现思维发散引入Critic模型进行预评估将反思记忆注入搜索过程该架构通过状态-动作树实

2026-03-16 10:17:48 843

原创【LLM进阶-Agent】9. self-discover Agent 介绍

**摘要：LLM Agent 的演进：从 ReAct 到 Self-Discover 的元推理突破大模型 Agent 正从"通用试错"向"结构化高效推理"演进。ReAct 奠定了交互基础，但存在线性推理的局限性。Self-Discover 框架通过元推理实现突破：1）发现阶段针对任务类型自主组合定制化推理结构（从39个认知模块中选择适配）；2）应用阶段按预生成的JSON流程执行具体问题。相比传统方法（如Tree-of-Thoughts），这种O(1)复杂度的方案能达

2026-03-15 18:05:31 516

原创【LLM进阶-Agent】8. Reflexion Agent 介绍

摘要：LLM Agent 演进：从 ReAct 到 Reflexion 的自我反思机制本文探讨了 LLM Agent 在处理复杂任务时的演进过程，重点分析了 Reflexion 架构的创新之处。传统 ReAct 范式容易陷入错误循环，而 Reflexion 通过引入跨尝试的文本化强化学习机制，实现了更高效的自我修正。其核心包括执行者（Actor）、评估器（Evaluator）和反思器（Reflector）三个组件，通过自然语言反馈替代传统强化学习的标量奖励，将失败经验转化为长期记忆。文章还提供了基于 La

2026-03-15 15:44:46 512

原创【LLM进阶-Agent】7. Basic Reflection Agent 介绍

摘要：本文解析了LLM Agent架构中Basic Reflection的演进与实现。传统ReAct模式存在开环控制缺陷，无法自我纠错。Basic Reflection引入双系统思想：Generator快速生成方案，Reflector批判性评估，形成闭环优化（$y_{k+1} \sim P_\theta(y | x, y_k, r_k)$）。通过LangGraph实现核心组件（状态管理、生成器、反思器）与条件流转控制，显著提升回答质量。针对死循环、反馈有效性等挑战，提出非对称模型架构、结构化输出等解决方案

2026-03-15 14:41:12 517

原创【LLM进阶-Agent】6. LLM Complier Agent 介绍

大模型Agent架构演进：从ReAct到LLM Compiler的并行革命本文深入分析了大模型Agent架构的发展历程，重点探讨了从串行执行到并行优化的技术突破。文章首先梳理了Agent架构的四个关键发展阶段：ReAct的串行执行、REWOO的解耦尝试、Plan & Execute的反馈机制，最终到LLM Compiler的并行革命。LLM Compiler通过引入有向无环图(DAG)规划，实现了任务的并行调度，将系统耗时优化为关键路径时长。文章详细剖析了LLM Compiler的三个核心模块：自

2026-03-15 14:40:50 791

原创【LLM进阶-Agent】5. Plan & Execute Agent 介绍

本文深入解析了LLM Agent的核心架构Plan & Execute范式。该范式通过分离规划与执行阶段，在全局视野和动态纠错间取得平衡。Planner负责任务拆解，Executor专注局部执行，Replanner则根据执行结果动态调整计划。相比ReAct范式，它避免了Token爆炸问题；相比REWOO范式，它通过重规划机制提高了容错性。文章还提供了LangGraph实现的工作流示例，并讨论了避免重规划死循环的解决方案。这种架构显著提升了Agent的任务执行效率和可靠性。

2026-03-15 14:40:26 616

原创【LLM进阶-Agent】4. ReWOO Agent 介绍

摘要：本文深入解析了LLM Agent架构中的ReWOO范式，对比传统ReAct框架揭示其技术优势。ReWOO通过解耦规划推理与工具执行，将任务分解为Planner（一次性生成DAG蓝图）、Worker（并行执行工具调用）和Solver（最终推理）三阶段，有效解决了ReAct存在的Token二次方增长、串行延迟和错误累积三大痛点。数学分析表明ReWOO将复杂度从O(N²)降至O(N)，特别适合逻辑明确的确定性任务，但在动态探索场景仍依赖ReAct。文章还探讨了工业落地中的容错机制和模型蒸馏优化方案。（149

2026-03-14 15:44:32 419

原创【LLM进阶-Agent】3.ReAct Agent 进阶--如何解决幻觉输出工具调用结果

将一个看似玄学的“Prompt 不听话”问题，拆解为自回归机制、解码层干预、角色模板以及 SFT 损失函数的系统性问题。

2026-03-14 15:43:48 418

原创【LLM进阶-Agent】2.ReAct Agent 介绍

摘要： ReAct范式是大模型Agent的核心架构，通过交替执行推理（Reasoning）和行动（Acting）解决复杂任务。相比纯推理（CoT）易产生幻觉和纯行动（Act-only）缺乏规划的问题，ReAct动态结合思考与工具调用，利用外部反馈修正策略。其运行流程为“Thought→Action→Observation”循环，但存在延迟高、死循环等挑战。实际应用中常与Plan-and-Solve结合优化效率，并通过迭代限制、Prompt约束和状态回溯缓解缺陷。ReAct奠定了Agent技术的基础，但其变体

2026-03-14 15:43:13 486

原创【LLM进阶-Agent】1.Agent范式发展历程

摘要： Agent技术根据任务需求分为多个分支：奠基时代的ReAct适合简单任务但效率低；重规划路径分支（如REWOO、Plan & Execute、LLM Compiler）通过解耦规划与执行提升效率，适用于流程明确或多子任务场景；重反思路径分支（如Reflection、LATS）通过反思和试错提高准确性，适合高难度任务但成本高；扩展分支如记忆中心（MemGPT）和多智能体协同（MetaGPT）分别解决长记忆和复杂协作问题，但存在检索误差或沟通成本问题。选择技术路线需权衡任务类型、效率与成本。

2026-03-14 15:42:25 503

原创【LLM进阶-RAG】11.RAGAS评估框架

RAGAs是一个评估RAG系统性能的框架，通过分析问题、答案、上下文和真实答案等信息，利用LLM对系统进行打分。它提供五种评估指标：忠实度（衡量答案与上下文一致性）、答案相关性（评估答案与问题匹配度）、上下文精度（相关条目排名高低）、上下文召回率（检索内容与真实答案匹配度）和上下文相关性。这些指标帮助优化RAG系统的各个组件，示例代码展示了如何使用RAGAs库进行自动评估。该框架能有效提升RAG系统的准确性和用户体验。

2026-03-14 15:41:45 576

原创【LLM进阶-RAG】10.GraphRAG

本文介绍了如何将非结构化文本数据转换为知识图谱并构建GraphRAG应用。通过LLM框架（如LlamaIndex）提取文本中的实体关系三元组，存储到图数据库（如Neo4j）形成知识图谱。重点阐述了三种知识图谱检索方法：Text-to-Cypher查询转换、向量搜索和关键词搜索，并提供了基于关键词检索的代码实现示例。该方法利用LLM的语义理解能力，有效实现了非结构化数据到结构化知识的转换，为后续RAG应用提供检索基础。

2026-03-13 11:52:04 454

原创【LLM进阶-RAG】9.self-RAG

Self-RAG是一种增强的RAG范式，通过模型微调让大模型具备自主判断检索需求与自我评估的能力。相比传统RAG，Self-RAG能有效解决过度检索和输出一致性问题。其工作流程分为四个步骤：检索判断、按需检索、增强生成和结果评判。核心创新在于引入四种自省标记（检索需求、知识相关性、响应支持度和响应有效性），通过模型微调让LLM在推理过程中直接输出这些标记。评判算法利用logprobs字段量化评估，选择最优输出。这种方法在保证生成质量的同时，减少了不必要的检索和人工干预，显著提升了RAG系统的效率和准确性。

2026-03-13 11:51:40 393

原创【LLM进阶-RAG】8.Agentic RAG

摘要： Agentic RAG（检索增强生成）通过引入智能体（Agent）的自主规划与推理能力，提升了传统RAG系统的灵活性与复杂性处理能力。传统RAG依赖单一检索-生成流程，适用于简单任务，而Agentic RAG能动态选择检索策略、融合多数据源、调用外部工具，并支持多步骤检索与自我优化，适用于企业级复杂查询场景。其架构可分为单Agent（集中式决策）和多Agent（分层协作）两种模式，后者能更高效地协调不同领域的检索任务。尽管Agentic RAG显著增强了RAG的适应性和准确性，但也面临延迟增加和LL

2026-03-13 11:51:05 396

原创【LLM进阶-RAG】7.常见的向量数据库

本文深入解析了主流向量数据库的底层算法与架构设计。核心算法包括图算法（如HNSW）和量化聚类（如IVF-PQ）两类，通过欧氏距离或余弦相似度实现高维空间检索。重点拆解了五类典型架构：PostgreSQL扩展的pgvector、内存架构的Redis、混合检索的Elasticsearch、云原生的Milvus/Zilliz，以及新兴专业向量数据库Qdrant等。不同架构在性能、扩展性、混合检索等方面各具特色，需根据数据规模、延迟要求等场景选择。评估时需关注召回率与吞吐量的平衡，避免单一指标误导。

2026-03-13 11:47:21 536

原创【LLM进阶-RAG】5.embedding与rerank模型结构

摘要：当前主流Embedding模型主要采用基于Transformer Encoder的双塔架构，通过独立编码Query和Document生成向量，并计算余弦相似度实现高效检索。Rerank模型则采用交叉架构，将Query和Document拼接输入同一Transformer，通过深度交叉注意力实现精准打分。两者形成"漏斗式组合"：先用Embedding模型快速召回Top-K结果，再用Rerank模型进行精细排序。实际应用中建议异构模型组合，控制精排数量在Top-3到Top-5，并可将Re

2026-03-13 11:46:38 465

原创【LLM进阶-RAG】6.混合检索算法（BM25+embedding）

混合检索（Hybrid Search）本质上是**传统文本检索（如 BM25，基于关键词字面匹配）语义向量检索（Dense Retrieval，基于深度学习大模型）**的强强联合。下面我们沿着“文档处理 -> 建库 -> 检索计算 -> 结果融合”的完整生命周期，系统性地梳理一遍。

2026-03-12 10:21:18 901

原创【LLM进阶-RAG】4.稀疏向量检索算法

SPLADE是一种结合语义理解与精确匹配的稀疏向量检索算法。它利用预训练语言模型的MLM头，将文本投影到词表空间生成稀疏向量表示。核心流程包括：上下文编码、词表空间投影、激活平滑和序列池化。通过知识蒸馏（Margin MSE Loss）和FLOPs正则化优化模型，SPLADE既保留精确匹配能力，又实现显式语义扩展。相比稠密检索，它具有可解释性强、基建复用度高等优势，可直接接入传统倒排索引框架进行高效检索。

2026-03-12 10:20:34 777

原创【LLM进阶-RAG】3.稠密向量检索算法

摘要：本文系统梳理了向量检索算法的发展历程与技术原理，重点剖析了ANN（近似最近邻）技术的演进路径。从早期的暴力检索、树结构算法，到局部敏感哈希、乘积量化，再到当前主流的图索引算法，文章详细解析了各类算法的数学原理与工程实现。特别深入分析了HNSW算法的分层导航机制及其核心参数设计，揭示了现代向量数据库实现高效检索的技术本质。文章通过严谨的数学公式和工程实践视角，为理解大语言模型中检索增强生成（RAG）技术的底层支撑提供了全面参考。

2026-03-12 10:19:15 363

原创【LLM进阶-RAG】2.切片算法策略

本文系统梳理了RAG切片策略的技术演进历程，从早期的机械切割到当前的语义切片，再到前沿的智能体切片。文章详细分析了各阶段的核心原理与技术特点：第一阶段基于固定规则分块，存在语义截断问题；第二阶段引入结构化层级切片，实现召回与生成的解耦；第三阶段提出原子化命题切片提升信噪比；第四阶段采用语义相似度计算实现智能切分；第五阶段展望了上下文检索和智能体切片的前沿方向。文章还通过对比表格清晰呈现了不同策略的优劣势，并深入解析了树状存储、动态元数据过滤等工业级实现细节，为RAG系统优化提供了全面的技术参考。

2026-03-12 10:18:47 423

原创【LLM进阶-RAG】1.RAG的发展历史

RAG技术发展经历了五个关键阶段：早期探索（2020年前）奠定检索与生成结合的理论基础；概念确立期（2020-2021年）由Meta正式提出RAG范式；工程化爆发（2022-2023年中）形成标准化应用流程；进阶优化（2023下半年-2024年初）在检索各环节进行精细化改进；当前进入模块化、图谱化与智能体化阶段，RAG系统正发展为具备自主判断能力的多模态智能体系。整个演进路径呈现出从简单匹配到深度理解、从线性流程到智能推理的转变趋势。（149字）

2026-03-12 10:17:50 501

原创【LLM基础】5.prompt & context engineering

技术名称 (Technique)原理简述适用场景零样本提示 (Zero-Shot)不给示例，直接下指令基础问答、文本翻译、情感分析、日常闲聊等低复杂度任务。少样本提示 (Few-Shot)提供少量输入输出样例需特定格式输出的代码生成、风格模仿、非结构化数据实体提取。思维链 (CoT)引导模型写出逐步推理过程基础数学题、日常逻辑判断、符号推理、简单的因果分析。由简到繁 (Least-to-Most)将大问题拆分为连续子问题求解复杂业务逻辑计算、长文本阅读理解、条件繁多的谜题。

2026-03-11 17:55:48 710

原创【LLM基础】4.大模型主流框架系列（先看Transformer篇）

本文解析了大语言模型的网络结构与底层原理。首先区分了架构（Encoder-only、Decoder-only等）与MoE（混合专家系统）的概念，指出二者正交不冲突。随后详细介绍了通用的底层数据流处理过程，包括词嵌入、位置编码和Transformer Block的计算步骤。重点分析了四大架构的核心差异——掩码矩阵（M）的设计：Decoder-only采用因果掩码实现单向生成；Encoder-only使用全0矩阵实现双向理解；Prefix-Decoder混合双向和单向；Encoder-Decoder通过两套网络

2026-03-11 17:52:10 407

原创【LLM基础】3.大模型前沿注意力机制优化笔记 (以 Qwen3.5-MoE 为例)

本文探讨了LLM中多头注意力机制(MHA)的优化策略，针对其表征能力受限和显存消耗两大痛点提出两种解决方案：1)特征维度解耦，通过独立控制单头维度提升表征能力；2)分组查询注意力(GQA)，通过多Query头共享少量KV头显著降低显存消耗。两种策略分别从表征能力和显存优化角度突破传统MHA的限制，其中GQA能降低推理显存至1/8且性能几乎无损。这些优化为处理高上下文窗口场景提供了有效路径。

2026-03-11 17:44:26 609

原创【LLM基础】2.Transformer原理

Transformer是一种基于注意力机制的神经网络架构，由编码器和解码器组成。编码器包含6个相同的块，每个块由多头注意力、前馈网络和残差连接构成；解码器也有6个块，增加了掩码多头注意力和交叉注意力机制。模型通过QKV矩阵计算注意力权重，并使用多头注意力将输入分割为多个子空间分别处理。前馈网络采用升维(2048)和降维(512)设计，配合ReLU激活函数实现非线性变换。残差连接(Output=F(x)+x)有效缓解了深度网络的梯度消失问题。在推理时，编码器仅计算一次，而解码器需循环计算直至生成完整输出。

2026-03-11 17:36:36 439

recyclerview资源包

Visual_assist_X_for_VC6.0破解版.zip

空空如也