一杯水果茶！足矣~

Transformer 原论文翻译及理解

【面试向】点积与注意力机制，逐步编码理解自注意力机制

Transformer模型采用正弦/余弦位置编码（Sin-Cos Positional Encoding）为序列中的每个位置生成独特的向量表示，克服了直接使用索引值带来的数值不稳定和归一化问题。

本文介绍了Transformer模型内部的数据流动过程。首先，输入文本通过词嵌入和位置编码转换为向量矩阵。核心环节是自注意力机制，通过计算Query、Key、Value矩阵，形成上下文相关的词表示。多头注意力机制让模型从多个角度理解语义。Encoder通过多层处理提炼语义信息，Decoder则使用掩码自注意力和Encoder-Decoder注意力逐步生成输出。最终，Decoder输出通过softmax转换为词概率，实现序列到序列的转换。整个过程展示了Transformer如何有效处理并转换序列数据。

大模型面试，Transformer

本文介绍了如何用Python实现Transformer架构，包括多头注意力机制、编码器-解码器结构、位置编码等核心组件。Transformer由编码器和解码器组成，各包含6个相同块。编码器层包含自注意力和前馈网络，解码器层增加了掩码自注意力和编码器-解码器注意力。多头注意力通过并行处理提高模型灵活性，核心是计算查询、键、值的注意力权重。位置编码通过正弦函数注入位置信息。在训练阶段采用右移策略实现自回归建模，推理时逐步生成输出。文章详细说明了各模块实现原理和Transformer在序列任务中的工作流程。

大模型训练框架 Accelerate 库

RAG是一种结合参数化与非参数化记忆的生成模型框架，通过检索外部知识源增强语言模型的生成能力。

构建RAG系统的核心挑战在于确保检索内容的相关性、完整性和准确性。关键在于两大部分：数据工程（文档切分、元数据标注、更新机制）和检索策略（混合搜索、重排模型、查询重写）。实际应用中，PDF解析、语义分块、权限管理等问题常导致检索质量下降，而评估体系缺失使得优化效果难以量化。最终，RAG系统的成功取决于数据处理与检索流程的精细打磨，而非单纯依赖大模型能力。

LLM（Large Language Model）—— 擅长理解和生成人类语言的人工智能模型；智能体 —— 利用人工智能模型与环境交互，以实现用户定义的目标。

smolagents 是一个专注于 codeAgent 的库，codeAgent 是一种通过代码块执行“操作”，然后通过执行代码“观察”结果的智能体。

LlamaIndex 是一个智能体框架，具有清晰的事件驱动工作流和丰富组件库。其核心优势在于：1）提供模块化工作流系统；2）内置大量即用组件；3）集成高效文档解析工具LlamaParse。

LangGraph是由LangChain开发的AI应用控制流管理框架，专注于平衡LLM的自由度与系统可控性。该框架通过有向图结构定义应用程序流程，包含节点（处理步骤）、边（转换路径）和状态（信息传递）三大核心模块，适用于需要多步骤推理、状态持久化或人机协作的场景。