Java开发，人工智能，边缘计算，致力于掌握前沿技术

在跳进提示注入之前，我们得先知道什么是大语言模型。大语言模型就是一个读文本、预测下一个词的模型。说白了，它是一台非常擅长猜词的机器。我们给它一些词，它猜下一个词是什么；然后把这个词接到文本后面，再猜下一个。它就这样一个词一个词地猜下去，直到把完整答案写出来。假设我们输入「天空是」。模型猜「蓝的」。现在文本变成「天空是蓝的」。模型重新读一遍全部内容，再猜下一个词。ChatGPT 背后那个模型写出一段长答案的过程，就是这样一词接一词完成的。这里有一点非常关键。模型只看得见文本。

在跳进护栏之前，得先知道 LLM 是什么。LLM 就是大语言模型（Large Language Model）。它是一个读文本、预测接下来该写哪些词的模型。说白了，LLM 是聊天助手背后的那个大脑。我们打一个问题，它用平实的语言写出一段回答。把这个名字拆开看，就容易记了。它之所以「大」，是因为从海量文本里学出来；之所以是「语言」，是因为它跟词打交道；之所以叫「模型」，是因为它是一个做预测的数学系统。接下来是重点。LLM 并不真正知道什么是对、什么是错，它只是预测看起来正确的文本。

函数调用（Function Calling）是一种让 LLM 使用外部工具、API 和函数来把事情办成的方式。它也叫工具调用（tool calling），两个名字说的是同一件事。在继续之前，我们先确认几个词的含义。LLM（大语言模型）是 ChatGPT 这类工具背后的模型。它读文本、生成文本，这就是它自己唯一能做的事。函数（function）是一小段只做一件事的代码。比如，一个函数可以获取今天的天气、发一封邮件，或者去数据库里查一个价格。API 是一道门，让一个程序可以向另一个程序索要东西。

交叉熵”（Cross-Entropy）这个词来自信息论。我们把它拆开看：交叉熵 = 交叉 + 熵熵（entropy）衡量的是一个概率分布的不确定性。如果一枚硬币完全公平（50% 正面、50% 反面），熵就高，因为我们对结果非常不确定。如果一枚硬币总是落在正面（100% 正面、0% 反面），熵就是零，因为完全没有不确定性。"交叉"意味着我们在比较两个分布：真实分布（应该发生什么）和预测分布（模型认为会发生什么）。

DeepSeek-V4 是一个为超长上下文打造的开放 MoE 语言模型系列。两个版本：V4-Pro（总参数 1.6T，激活 49B）和 V4-Flash（总参数 284B，激活 13B），都原生支持 1M token。混合注意力以交替方式组合 CSA（压缩稀疏注意力）与 HCA（重度压缩注意力）。CSA 把 token 压成分组再取 top-k；HCA 压得更狠但保持稠密注意力。一个小的滑动窗口让最近 token 保持未压缩，可学习的注意力沉淀池让注意力 logit 保持稳定。

Transformer 并行读入所有 token，天生不知道词序，因此我们必须注入位置信息。早期方法把位置向量加到 token 嵌入上。正弦编码和可学习嵌入都缺少内置的相对距离结构，也难以应对更长的序列。RoPE 旋转 Q 和 K 向量，而不是相加。旋转角度取决于 token 的位置。高维向量被拆成一对对，每一对按自己的频率旋转。两个旋转后向量的点积只依赖相对位置，相对位置信息因此「免费」获得。不引入可学习参数。与可学习位置嵌入不同，RoPE 本身不增加任何可训练参数。

在跳进 AI 智能体评估之前，我们得先知道 AI 智能体是什么。AI 智能体（AI Agent）是一个用 LLM 来做规划、通过工具采取行动、并自主完成任务的系统。简单说，普通 LLM 只给我们文本。而 AI 智能体不会停在文本上。它可以调用工具、读文件、搜网页、跑代码，为了达成一个目标走上很多步。假设我们让一个 AI 智能体去做这件事：「订一张周五从德里到班加罗尔的机票。」智能体会思考、调用航班搜索工具、读结果、选一个合适的航班、调用订票工具，最后把确认信息给我们。

模型量化是把模型的数字用更低的精度来存储和计算的过程，这样模型占用的内存更少、跑得更快。用大白话说，量化就是：我们用更小、更简单的数字，替代又大又精细的数字。在深入之前，先搞清一件基础的事情。一个 AI 模型，本质上就是一大堆数字的集合。这些数字叫做权重（weight）。模型在训练过程中不断调整这些权重，从而完成学习。一个大语言模型可以拥有数十亿个这样的数字。正常情况下，每一个数字都是以非常精细的高精度形式存储的。量化会把这些精细的数字，舍入成简单得多的形式。举个例子，我们把0.7319284。

LLM 评估是衡量一个大语言模型在我们期望它完成的任务上表现如何的过程。简单来说，我们给模型一些输入，看它的输出，然后检查这些输出是否正确、有用、安全、有价值。我们就是这样判断一个模型对我们这个用例来说是否够好。假设我们用 LLM 做了一个聊天机器人。现在的问题是：我们怎么知道这个聊天机器人到底好不好？它给的答案正确吗？它礼貌吗？它安全吗？它比我们上周那个旧版本更好吗？要回答这些问题，我们就需要 LLM 评估。

注意力中的因果掩码（Causal Masking）是一种机制：它把未来的 token 挡在外面，让每个 token 只能看见自己以及自己之前的 token，永远看不到自己之后的 token。本文将围绕注意力中的因果掩码展开：先介绍因果掩码是什么，用一个例子说明"看见未来 token"到底会带来什么问题，然后再走一遍实现过程，看看掩码注意力是如何阻止模型访问未来 token 的。众所周知，注意力层是 Transformer 架构中最重要的组件，也是 LLM（大语言模型）背后的关键构建块。

分页注意力是一种通过把 KV 缓存切分成固定大小的小块（称为页）来更高效管理显存的技术。这些页在显存中不必相邻。"分页（Paged）"这个词来自操作系统里的一个概念。操作系统要为电脑上运行的所有程序管理内存。它并不给每个程序分配一大块连续内存，而是把内存切成固定大小的小片，称为页。每个程序按需拿到若干页，这些页可以散落在内存中的任何位置。操作系统用页表（page table）记录每一页的位置——页表就是一张简单的清单，把程序的每一页映射到它在内存中的实际位置。

问题：LLM 一次只生成一个 token，每个 token 都逼着整个大模型跑一次。在加载内存的同时，GPU 的算力闲着。这很慢。核心思路：用一个小而快的草稿模型写出几个 token，用大而慢的目标模型在一次并行前向里把它们全部校验完。接受规则：每个草稿 token 依据一条叫拒绝采样的数学规则被接受或拒绝。这套数学保证最终输出与大模型独自生成的结果一致。收益：2 到 3 倍加速，且无质量损失。代价：草稿模型要额外占显存，且加速幅度取决于两个模型有多一致。

在讲提示缓存之前，我们必须先搞明白 prompt 是什么。prompt 就是我们发给大语言模型的那段文本。大语言模型（large language model，简称 LLM）是 ChatGPT、Claude 这类工具背后的技术。我们给它一些文本，它还我们一些文本。简单说，prompt 就是我们敲进去的所有内容。模型读了我们的 prompt，然后写出回复。假设我们在做一个客服助手。一组指令，告诉模型该怎么表现，比如「你是一家鞋店的礼貌客服」。可能还有一份很长的文档，写着我们全部的鞋子退货政策。

LLM 路由指的是针对每个用户查询挑选合适的 LLM，而不是把所有查询都送给同一个 LLM。LLM 路由 = LLM + 路由。LLM 是 Large Language Model（大语言模型）的缩写，也就是生成答案的那个模型。路由（Routing）的意思是决定一个请求该走哪条路径。也就是说，LLM 路由决定了一个查询的路径——由哪个 LLM 来处理它。假设我们带着病痛走进一家医院。分诊台的接待员看了看我们的问题，然后把我们分派给对应的医生。普通感冒去内科，心脏问题去心内科，脑部问题去神经内科。

在进入注意力沉淀池之前，我们得先知道什么是大型语言模型。大型语言模型是一个读文本、预测下一个词的 AI 模型。说白了，它就是一台非常擅长猜词的机器。我们给它一些词，它猜下一个词是什么。然后它把这个词加进去，再猜一次。它就这么一个词一个词地一直做下去。假设我们输入 “The sky is”。模型猜 “blue”。现在文本变成 “The sky is blue”。模型把整段重读一遍，再猜下一个词。ChatGPT 这类模型写长回答，就是这么一词接一词写出来的。

在学习预填充与解码之前，我们得先理解 LLM 推理是什么意思。LLM 是大语言模型（Large Language Model）。它就是我们日常使用的那些聊天助手背后的模型。推理（inference）是使用一个训练好的模型来产生答案的行为。用大白话说，推理就是模型真正开始干活——读懂你的问题，然后写回一个回答。这里最重要的一点是：LLM 不是一次性写出整段答案的。它一小块一小块地写，每一小块叫作一个 token。token 是一小段文本，可能是一个词，也可能是一个词的一部分。

连续批处理是这样一种跑批次的方式：服务器不等待整个批次跑完。批次里任何一个请求一完成，服务器立刻用队列中等待的新请求顶替它的位置。批次永远不闲着。每个位置始终在为某个请求做有用的事。我们不再把批次理解为"一组同生共死的请求"，而是"一组始终有人坐着的座位"。静态批处理工作在"请求"粒度上；连续批处理工作在"token"粒度上。在静态批处理里，工作单位是"一整个请求"。所有请求同时开始，全部结束批次才结束。在连续批处理里，工作单位是"此刻批次里所有人的一步解码"。

专家就是一个小型神经网络。在大多数现代 LLM 中，每个专家都是一个小型前馈网络（feed-forward network）——就是我们在 Transformer 架构里早已熟悉的那种前馈网络。MoE 模型的一个 Transformer 层里，可以并排放 8 个、64 个甚至 128 个专家。每个专家自身就是一个完整的前馈网络。注意：「专家」这个词容易产生误导。专家并不是专门在数学或物理上训练出来的。模型会在训练过程中自己学会哪些专家该处理哪类输入。

KV 缓存就是一块这样的记忆区：把每个已经处理过的 token 的键和值保存下来，模型就不必再计算它们了。KV 缓存就这样来救场了。它背后的想法很简单：每个 token 的键和值只算一次，存起来，之后每一步都复用。可以把它想成记笔记。想象你在开一场会，每当有新人发言，你不用让之前所有发言的人把说过的话再重复一遍，而是直接翻自己的笔记，只听新人讲。这份笔记就是你的缓存。第 1 步：输入是 “I love”“I”“love”模型把"I"和"love"的键和值存进 KV 缓存。

token 是模型处理文本的最小单元。一个 token 可以是一个完整的单词、单词的一部分、单个字符、一个标点符号，或者"前面的空格加上单词"。“cat” 是一个 token。“unbelievable” 会被切成三个 token：“un”、“believ”、“able”。” 是一个 token。" love"（连同前面的空格）是一个 token。这里可以注意到，空格是附着在单词上的。大多数现代分词器就是这么做的：空格成为后面那个 token 的一部分。

幻觉（hallucination）是指 AI 给出了一个听起来正确且自信的答案，但它实际上是错的或者凭空编造的。AI 不是在故意撒谎。它只是产出了一个"长得像真答案"的东西，而且带着十足的自信。本文中，AI 指 LLM（大语言模型）。假设我们问 AI：“作家 Meera Joshi 出生于哪一年？为了举例方便，假设 Meera Joshi 是一位没什么名气的作家，AI 从来没读过关于她的任何内容。一个谨慎的人类会说"我不知道"。但 AI 回答：“Meera Joshi 出生于 1962 年。

AI智能体记忆是赋予无状态LLM持续性、个性化与学习能力的关键系统。它采用分层架构：上下文窗口（瞬时）、短期记忆（会话级）、长期记忆（用户偏好）与外部知识（RAG/API）。通过写入、读取、更新、遗忘四大操作，实现信息流转。运行时中，记忆按需检索并注入提示词，支撑长任务与跨会话交互。正确管理记忆内容与生命周期，避免冗余与过时，是构建高效智能体的核心。

上下文压缩通过摘要化技术将长对话中的旧消息浓缩为关键事实摘要，有效缓解上下文窗口溢出问题。它避免了滑动窗口丢弃重要信息的缺陷，在保留核心记忆的同时腾出空间，提升模型效率与准确性。该技术是实现长时间、高智能对话的关键支撑。