- 博客(26)
- 收藏
- 关注
RSS订阅原创 小白也能看懂的长上下文与高效注意力：让大模型从“金鱼记忆“进化到“过目不忘“
今天我们从"大模型的金鱼记忆"出发，一路聊到了让模型"过目不忘"的各种技术：技术一句话总结生活类比二次方复杂度注意力的"原罪"人多握手次数爆炸位置插值（PI）等比缩放所有频率把手表调慢NTK-aware缩放分频率差异化缩放齿轮系统分别调速YaRN分频段+温度修正短跑改马拉松的训练法滑动窗口注意力只看邻居，信息接力传话游戏Mamba/SSM压缩历史到固定状态写日记代替记所有事中间信息容易被忽略3小时讲座只记得头尾核心认知。
2026-07-10 07:00:00
248
原创 小白也能看懂的多模态大模型：当AI学会“看“和“听“
视觉编码器（摄影师）+ 投影层（翻译官）+ LLM（教授）GPT-4V（闭源标杆）、LLaVA（开源先锋）、Qwen-VL（中文强）、InternVL（视觉编码器大）用 GPT-4 生成图文对话数据，两阶段训练MMBench（通用）、MMMU（大学级）、MathVista（数学图表）从图文理解到文档OCR，从视频理解到代码截图转代码用 Qwen2-VL 或 LLaVA 跑通图文理解多模态大模型让 AI 从"只能读"进化到"能看能读"，这是迈向通用人工智能的关键一步。但还有一个问题没解决——
2026-07-09 07:00:00
387
原创 小白也能看懂的大模型评估体系：给AI出一份“期末考卷“
三大维度：能力评估（能不能干）、安全评估（会不会搞事）、对齐评估（听不听话）五大Benchmark：MMLU（全科会考）、HumanEval（编程上机）、GSM8K（数学应用题）、C-Eval（中文高考）、MT-Bench（开放问答）三大坑：数据污染（背答案）、Benchmark泄露（偷考卷）、刷榜（应试教育）：用大模型当裁判，方便但有偏见：盲测+Elo评分，目前最靠谱的评测方式实操：用lm-evaluation-harness跑评测，几行命令搞定一句话总结：评测不是目的，是手段。
2026-07-08 10:29:13
299
原创 小白也能看懂的对齐与红队测试：如何把AI培养成“好公民“
军事领域有个概念叫"红队"——在演习中扮演敌方的队伍，专门找己方的弱点。你派一支队伍模拟敌人来攻击你的防线，看哪里守不住，然后修补。AI红队测试完全一样——找一群人（或AI）专门想办法"骗"模型，看它会不会"上当"。│ 红队测试 vs 正常测试 ││ ││ 正常测试：用户正常使用 → 模型正常回答 ✅ ││ ││ 红队测试：用户故意使坏 → 模型会不会中招？🤔 ││ ││ ┌──────────┐ 各种刁钻问题 ┌──────────┐ │。
2026-07-07 07:00:00
256
原创 小白也能看懂的大模型安全与对抗攻击：超级英雄也有致命弱点
大模型在训练时，都会经过"安全对齐"——就像给模型配了一个保安，禁止它输出有害内容。你问它"怎么制造炸弹"，它会拒绝回答。但"越狱攻击"就是要想方设法骗过这个保安。打个比方：你是一个高档小区的保安，职责是拦住外人。但有人——假装是业主的亲戚（角色扮演）拿着一张伪造的通行证（DAN）先跟你聊了半天家常，趁你不注意溜进去（多轮诱导）这些都是"越狱"的手法。让模型做它不该做的事。如果说越狱攻击是"骗保安"，那提示注入就是"伪造老板签名"。大模型应用中，通常有。
2026-07-06 17:14:44
181
原创 小白也能看懂的大模型应用架构与Agent：让AI从“只会说“变成“会干活“
Function Calling（函数调用）是大模型从"只会说"到"会干活"的第一步。打个比方：你跟朋友说"我好饿"，朋友不会只回一句"那你吃点东西吧"，而是会掏出手机帮你点外卖——他不仅理解了你的需求，还执行了具体的动作。Function Calling 就是让大模型具备这种能力：当它判断需要调用外部工具时，不再只输出文字，而是输出一个结构化的函数调用请求，告诉应用层"请帮我调用这个函数，参数是这些"。
2026-07-03 07:00:00
490
原创 小白也能看懂的RAG检索增强生成：让大模型学会“开卷考试“
要让计算机"检索"文档，首先得让它能"理解"文档的意思。但计算机只懂数字，不懂文字。向量嵌入就是把文字变成数字的技术——把一段文本映射成一个高维向量（通常 768 维或 1536 维），语义相近的文本，向量也相近。打个比方：向量嵌入就像给每段文字发了一个**"语义身份证号"**。意思相近的文字，身份证号也相近；意思差很远的文字，身份证号差得也远。# 加载一个中文 Embedding 模型# 把文本变成向量texts = ["大模型有时候会胡说八道","语言模型存在幻觉问题","今天天气真不错"
2026-07-02 07:00:00
947
原创 小白也能看懂的本地部署实战：Ollama、llama.cpp与硬件选型全攻略
基于Qwen2.5-7B创建自定义模型# 设置系统提示词（给模型一个"人设"）SYSTEM """你是一位资深的Python编程导师，擅长用通俗易懂的方式解释编程概念。回答时请遵循以下规则：1. 先给出简洁的结论2. 再用代码示例说明3. 最后补充注意事项"""# 设置参数# 构建自定义模型# 运行现在你的模型就是一个专业的Python导师了！│ 本地部署知识图谱 ││ ││ │ 硬件选型 │───→│ 部署工具 │───→│ 性能优化 │ │。
2026-07-01 07:00:00
461
原创 小白也能看懂的推理加速框架：vLLM、TGI与Continuous Batching
像餐厅翻台一样，做完就走、来了就坐，GPU 始终满载，吞吐量提升 2~4 倍：像操作系统管理内存一样管理 KV Cache，显存利用率从 40% 飙到 95%，同样显存能服务 4 倍的请求vLLM：PagedAttention 的发明者，推理框架界的性能卷王，OpenAI 兼容 API 开箱即用TGI：HuggingFace 官方出品，生态整合无敌，Docker 一键部署：NVIDIA 亲儿子，性能天花板，但部署门槛也最高LMDeploy：国产之光，对消费级显卡和国产 GPU 友好选型一句话。
2026-06-30 07:00:00
403
原创 小白也能看懂的知识蒸馏：大模型变小模型的“浓缩咖啡“术
量化：把模型里的数字从高精度变成低精度（FP16→INT8），就像把高清图压缩成标清图蒸馏：让大模型教小模型，小模型从头学，就像老教授带研究生剪枝：把模型里"不重要"的参数直接删掉，就像修剪树枝——去掉枯枝，保留精华今天我们聊了知识蒸馏——让大模型变小模型的"浓缩咖啡"术。核心思想：大模型当老师，小模型当学生，通过软标签传递"暗知识"关键机制：温度参数 T 控制软标签的平滑度，KL 散度衡量师生差距三种方式：白盒蒸馏（看 logits）、黑盒蒸馏（看输出）、特征蒸馏（看中间层）经典案例。
2026-06-29 09:44:46
493
原创 小白也能看懂的模型量化：让大模型瘦身70%还能聪明如初
量化原理：FP32 → FP16 → INT8 → INT4，就像图片从无损到 JPEG，体积越来越小，细节略有损失但整体可用PTQ vs QAT：训练后量化是主流（拍完照再压缩），量化感知训练更精准但成本高（拍照时就考虑压缩）四大方法GPTQ：二阶信息补偿，精度好，GPU 推理快AWQ：激活感知缩放，速度最快，精度与 GPTQ 相当GGUF：CPU 友好，本地部署首选，Q4_K_M 是性价比之王：零配置量化，QLoRA 微调的黄金搭档选型指南。
2026-06-28 07:00:00
473
原创 小白也能看懂的大模型推理基础：KV Cache 让生成速度飞起来
训练 vs 推理：训练计算密集、推理显存密集，优化逻辑完全不同；推理双阶段：Prefill 并行处理输入（计算瓶颈），Decode 逐字生成（显存带宽瓶颈）；KV Cache 核心价值：缓存历史 K、V 向量，消除平方级重复计算，复杂度 O (N²)→O (N)，推理必备；KV Cache 痛点：长序列、多并发大量占用显存，70B 模型 4k 序列缓存可达 12.8GB；缓存优化方案：GQA 是当前最优折中，通过分组共享 KV 头大幅降低显存开销；
2026-06-27 07:00:00
613
原创 小白也能看懂的训练优化技巧：让大模型训得又快又省又好
如果你只记住一个优化器，那就是AdamW。它是目前几乎所有大模型预训练和微调的默认选择。AdamW = Adam + 解耦权重衰减（Decoupled Weight Decay）。Adam给每个参数维护独立的"学习速度"，聪明的参数学得快，笨的参数学得慢权重衰减相当于给参数加了一个"拉力"，防止它们变得太大（正则化效果）两者结合，既保证训练速度快，又保证模型不会过拟合。恭喜你！到这里，第二周"大模型训练技术"的全部内容就学完了。Day 1：预训练数据工程——训练大模型需要什么样的数据，如何收集和清洗。
2026-06-26 07:00:00
1042
原创 小白也能看懂的分布式训练：几千张显卡怎么一起训练一个大模型
分布式训练是大模型训练的基础设施级技术，核心思路就是"拆"：策略拆什么适用场景数据并行拆数据模型能放进单卡张量并行拆每一层单层太大，同机器内流水线并行拆不同层模型整体太大，跨机器ZeRO拆冗余状态减少数据并行的显存浪费实际工程中，通常是多种策略的组合。对于大多数开发者来说，已经能覆盖 7B~13B 模型的训练需求；如果你要训练更大的模型，就需要深入了解 3D 并行了。下一篇我们将聊训练优化技巧。
2026-06-25 07:00:00
1326
原创 小白也能看懂的训练数据工程：大模型“吃什么“才能变强
预训练数据是大模型的知识基础，需要经过严格的清洗和去重，数据来源要多样化。数据配比决定了模型能力的"方向"，需要大量实验来确定最佳配方。SFT 指令数据质量远比数量重要，1000 条精品数据可能胜过 10 万条平庸数据。偏好数据的标注一致性直接影响 RLHF/DPO 的训练效果。数据污染、偏见和版权是数据工程中的三大"暗礁"，必须提前防范。在大模型的世界里，数据不是"越多越好"，而是"越精越好"。花 80% 的时间在数据质量上，往往比花 80% 的时间调超参数更值得。下一篇预告。
2026-06-24 08:39:56
355
原创 小白也能看懂的DPO：比RLHF简单得多的对齐方案
RLHF 虽然有效，但流程复杂、训练不稳定、资源消耗大。DPO 通过数学变换，将奖励模型"内化"到策略模型中，跳过了显式的奖励模型训练。DPO 的数据格式和 RLHF 一样使用偏好对数据，迁移成本极低。DPO 的训练更简单、更稳定、显存占用更少，效果与 RLHF 接近。DPO 的变体（IPO、KTO、ORPO）在不同场景下各有优势。目前，DPO 已经成为大模型对齐领域的主流方案之一。越来越多的开源模型和商用模型在训练流程中采用了 DPO 或其变体。
2026-06-23 07:00:00
344
原创 小白也能看懂的RLHF：人类是怎么给AI当老师的
SFT模型（会回答问题）│▼│ 第一步：收集偏好数据 │ ← 人类标注员对多个回答排序│▼│ 第二步：训练奖励模型 │ ← 培养一个"AI评委"│▼│ 第三步：PPO优化 │ ← 用评委的打分来训练模型，同时加KL惩罚防止跑偏│▼对齐后的大模型（回答得更好、更安全、更诚实）一句话总结：RLHF的本质就是——先让人类告诉AI什么是"好"，然后让AI不断朝着"好"的方向进化。
2026-06-22 09:06:19
505
原创 小白也能看懂的SFT微调：让大模型从“续写机器“变成“贴心助手“
来回顾一下今天的核心知识点：要点内容SFT解决什么问题让预训练模型从"文字续写"变成"指令回答"核心思路用带标准答案的指令数据做有监督微调训练关键只在output部分计算loss，不关注instruction部分数据策略质量远重于数量，1000条精选数据 > 10万条粗糙数据SFT的局限只教了模型"回答"，没教它"回答得好"——需要RLHF预训练（学知识）→ SFT（学回答）→ RLHF（学好回答）→ 对齐（Alignment）↑ ↑ ↑读遍互联网 入职培训 高级研修班下一篇预告。
2026-06-20 07:00:00
365
原创 小白也能看懂的预训练：大模型是怎么“读遍互联网“的
互联网原始数据（万亿Token级别）↓数据预处理（去重、过滤、去毒、配比）↓模型训练（数千张GPU × 数周，做Next Token Prediction）↓基座模型（Base Model）——知识丰富，但只会续写，不会对话↓后续训练（SFT + RLHF）→ 对话助手（如ChatGPT）预训练的本质，就是用"猜下一个词"这个看似简单的任务，逼迫模型从海量文本中习得人类语言的规律和世界知识。它是大模型能力的基石。没有预训练，就没有大模型对世界的"理解"。
2026-06-19 07:00:00
625
原创 小白也能看懂的LoRA微调：一张显卡也能玩转大模型
预训练模型 + 你的数据 = 你的专属模型大模型在训练时已经"读"了海量互联网文本，具备很强的通用能力。但如果你想让它做特定领域的事情——比如当客服机器人、写医疗报告、生成法律合同——通用模型就不太够用了。微调就是拿一个已经训练好的模型，再用你自己准备的数据继续训练它，让它学会你的"行话"和"规矩"。就好比一个什么都会的实习生，你给他一些业务文档和案例培训几天，他就能上手干活了。LoRA已经成为微调大模型的标配方案，这不是偶然。省显存：只训练不到1%的参数，24G显卡即可微调7B模型。不损失推理速度。
2026-06-18 07:00:00
668
原创 小白也能看懂的位置编码：大模型怎么知道字的顺序
位置编码虽然是Transformer中的"小模块"，但解决的是模型理解序列的根本性问题。Sinusoidal用数学函数给每个位置生成"指纹"，优雅但表达力有限；可学习编码让模型自己学位置，灵活但受限于训练长度；RoPE通过旋转设计让位置信息天然融入注意力计算，成为当前最优解；长文本扩展（NTK Scaling、YaRN等）解决了RoPE的外推短板。对开发者来说，RoPE是当前大模型位置编码的基础方案，理解它的旋转思想，有助于你更好地理解模型架构、微调策略和推理优化。
2026-06-17 07:00:00
368
原创 小白也能看懂的MoE架构：Mixtral、DeepSeek背后的混合专家
Prefill + Decode 两阶段：像考试一样，先审题（并行处理），再写答案（逐字生成）。KV Cache：像草稿纸一样缓存中间结果，避免重复计算，是加速的基石。模型量化：像图片压缩一样缩小模型体积，INT4 量化让大模型在消费级显卡上也能跑。：减少"搬运数据"的次数，让注意力计算快好几倍。投机解码：小助理写草稿、老板审核，用并行换速度，质量不打折。批处理：让多个用户共享 GPU，Continuous Batching 确保不浪费一丝算力。推理框架选型。
2026-06-16 08:38:23
360
原创 小白也能看懂的大模型推理优化：为什么AI回复能这么快
Prefill + Decode 两阶段：像考试一样，先审题（并行处理），再写答案（逐字生成）。KV Cache：像草稿纸一样缓存中间结果，避免重复计算，是加速的基石。模型量化：像图片压缩一样缩小模型体积，INT4 量化让大模型在消费级显卡上也能跑。：减少"搬运数据"的次数，让注意力计算快好几倍。投机解码：小助理写草稿、老板审核，用并行换速度，质量不打折。批处理：让多个用户共享 GPU，Continuous Batching 确保不浪费一丝算力。推理框架选型。
2026-06-14 07:00:00
260
原创 小白也能看懂的Tokenizer：大模型是怎么“读“文字的
Tokenizer是大模型的"文字入口"，它决定了模型看到的不是一个一个的字或词，而是一串数字ID。大模型不直接读文字，必须通过Tokenizer将文本转换为token ID序列子词切分是现代Tokenizer的主流方案，在词表大小和表达能力之间取得平衡BPE是最经典的子词算法，核心就是不断合并高频相邻字符对WordPiece和SentencePiece是BPE的变体，核心思路类似但策略和适用范围有差异不同Tokenizer对中文的支持差异很大，这直接影响你使用API的成本和效果实际使用大模型时，要关注。
2026-06-13 07:00:00
440
原创 小白也能看懂的大模型训练：预训练、微调、RLHF到底在干嘛
│ 大模型训练三阶段全景图 ││ ││ 第一阶段：预训练（Pre-training） ││ ├─ 目标：学会预测下一个词（完形填空） ││ ├─ 数据：万亿级Token（网页、书籍、代码） ││ ├─ 成本：数千万美元，数千GPU ││ └─ 产出：基座模型（能续写，但不会好好对话） ││ │ ││ ▼ ││ 第二阶段：监督微调（SFT） ││ ├─ 目标：学会按要求回答问题（问答培训） ││ ├─ 数据：几万~几十万条问答示范 │。
2026-06-12 07:00:00
903
原创 小白也能看懂的Transformer架构：从注意力机制到GPT的基石
输入文本│▼[词嵌入 + 位置编码] ← 把文字变成向量，并告诉模型词的顺序│▼│ Transformer Block │ ← 这个方块重复N次（比如GPT-3重复了96次）│ │ Multi-Head │ │ ← 从多个角度理解词与词的关系│ + 残差连接 │ ← 抄近道，防止信息丢失│ │ Feed-Forward │ │ ← 对每个词做进一步加工│ + 残差连接 ││▼输出（下一个词的概率分布）核心要点回顾：注意力机制让模型在处理每个词时，能看到整个句子的上下文Q、K、V。
2026-06-11 16:05:49
805
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人