tzh699-优快云博客

原创 Prefill 阶段与 Decode 阶段

Prefill，全称 Pre-filling，中文一般翻译为预填充阶段。它的主要任务是：将用户输入的所有 Prompt Token 一次性送入 Transformer，完成上下文计算，建立 KV Cache，并预测第一个输出 Token。Token 1: 请Token 2: 介绍Token 3: 一下为了便于理解，假设这段 Prompt 一共包含 4 个 Token。输入：[请] [介绍] [一下] [Transformer]vv计算全部 Token 的 Q、K、Vv。

2026-10-27 17:23:36 104

原创 RoPE（Rotary Position Embedding）详细笔记

409632768一种直观思路是：让旋转变慢。例如把位置：(m)缩放为：如果：(\alpha=8)那么：0 ~ 327680 ~ 4096附近。Attention：旋转矩阵：Query：Key：最重要的性质：(Q_mTK_n=Q因此：Attention 可以通过 RoPE 感知 Token 之间的相对位置。

2026-09-19 14:31:58 336

原创 MHA、MQA 与 GQA 详解

特性MHAGQAMQAQuery Head 数多多多KV Head 数与 Q 相同少于 Q1KV 是否共享否分组共享全共享参数量最大较小最小KV Cache最大较小最小显存带宽压力高较低最低推理效率相对低高很高多头独立性最强较强最弱工程折中较差很好激进大模型推理适用性可以非常适合非常适合。

2026-09-19 10:53:04 141

原创大模型生成参数：Temperature、Top-p、Top-k 详解

使用场景Top-pTop-k精确事实回答0.1～0.30.8～0.9520～40数学推理0.1～0.30.8～0.9520～40代码生成0.1～0.40.85～0.9520～50知识问答0.3～0.60.9～0.9540～50普通聊天0.5～0.80.9～0.9540～60文案创作0.7～1.00.95～1.050～100小说/故事0.9～1.20.95～1.050～100+以上只是经验值。

2026-09-17 21:27:41 59

原创 Flash Attention

V1 已经省显存了，但计算过程里有不少非矩阵乘法操作，比如 max、exp、sum、rescale，这些操作会打断 Tensor Core 的高吞吐节奏。长序列时 FlashAttention 优势通常更明显，因为它主要优化的是显存 IO，而长序列正好会把 attention matrix 放大到非常夸张的规模。它算出来的结果和标准 attention 基本等价，只会有浮点误差。对于 GPU 来说，这非常关键，因为很多 attention 场景不是“算不动”，而是“数据搬来搬去太慢”。

2026-09-12 15:06:53 74

原创 torch.nn.ReLU()的作用

【代码】torch.nn.ReLU()的作用。

2026-08-13 10:26:20 12

原创 torch.nn.Sequential —— 把多个层串成一条流水线

一句话把多个层按顺序装进一个容器，数据依次流经每个层，省去手动写中间变量。基本用法。

2026-08-13 10:17:33 151

原创 enumerate 的用法

enumerate 的用法enumerate 是 Python 内置函数，作用是在遍历可迭代对象时，同时获取索引和值。

2026-07-29 10:12:00 201

原创 BERT 迁移学习 —— 中文情感分类详细复习资料

AiModel这是整个迁移学习的唯一可训练部分。代码按 NLP 项目标准流程分为 9 个todo，每个todotodo函数阶段是否直接调用1-2全局初始化加载分词器 + 预训练模型脚本启动时自动执行3探索数据格式仅调试用4批次数据整理被 DataLoader 自动调用5封装数据加载器被训练/评估函数调用6AiModel定义下游模型被训练/评估函数调用7快速冒烟测试训练前确认能跑通8模型训练主流程9模型评估主流程。

2026-07-16 14:24:31 178

原创 Python 语言层面的一个设计模式——call 魔法方法

魔法方法。原理：任何实现了的类实例都可以像函数一样被调用。

2026-07-14 16:04:53 193

原创 Transformer 模型架构 — 详细学习复习资料

本文详细解析了Transformer模型架构。首先回顾了传统Seq2Seq+注意力机制的局限性，包括串行计算、长距离依赖问题和信息瓶颈。随后重点讲解了注意力机制的本质，通过Q（查询）、K（键）、V（值）三个核心概念实现"对比-选择-提取"的信息处理过程。文章系统介绍了Transformer的完整架构，包括编码器（多层Encoder Layer）和解码器（多层Decoder Layer）的工作流程，以及输出层（Generator）的功能。特别强调了Transformer通过完全基于注意力机制的设计，实现了并

2026-07-13 16:02:59 159

T_20041231的博客

原创 Prefill 阶段与 Decode 阶段

原创 RoPE（Rotary Position Embedding）详细笔记

原创 MHA、MQA 与 GQA 详解

原创大模型生成参数：Temperature、Top-p、Top-k 详解

原创 Flash Attention

原创 torch.nn.ReLU()的作用

原创 torch.nn.Sequential —— 把多个层串成一条流水线

原创 enumerate 的用法

原创 BERT 迁移学习 —— 中文情感分类详细复习资料

原创 Python 语言层面的一个设计模式——call 魔法方法

原创 Transformer 模型架构 — 详细学习复习资料

原创 Transformer 中 source_mask 以及target_mask的作用

原创 Batch Normalization（BN）与 Layer Normalization（LN）详解

原创 Transformer源码解析（二）——Multi-Head Attention（多头注意力）源码详细解析

原创 Transformer核心算法详解——Scaled Dot-Product Attention（缩放点积注意力）源码解析

原创手把手教程：用codex的skill将图片转换为“可编辑 PPT”（从0到跑通）

空空如也

空空如也