一文解析AI大模型Agent

关注

原创最新推荐文章于 2026-06-09 21:36:59 发布 1.2k 阅读 AI 写同款· GEO 优化 ›

一文彻底搞懂大模型 - Agent（智能体）2024最新知识 Agent是能够模拟独立思考过程，灵活调用各类工具，逐步达成预设目标。在技术架构上，Agent从面向过程的架构转变为面向目标的架构，旨在通过感知、思考与行动的紧密结合，完成复杂任务。** 阅读详情

前言

现在很多朋友都在研究AI大模型；对各个公司的大模型更是数如家珍。

“chatgpt、Claude、Gemini、Llama3、文心一言、千问…”

国外的、国内的、开源的、不开源的；只要出来一个大模型，就要注册，试一试效果。

但我想问的是：

你真正了解它们是如何工作的吗？

大家可以尝试回答下面这几个问题，就能知道自己是不是真懂，什么是LLM大语言模型了。

例如：

“为什么基于生成式的模型，可以模拟出聊天对话的样子？”

“为什么大语言模型，可以生成不同的、非固定的对话回复？”

“生成式的AI大模型，依赖的是Transformer中的哪一部分？”

“几乎所有的大模型的最后一层都是softmax层，它的作用是什么？”

“如何快速的在笔记本电脑上，部署大语言模型进行实验？”

看完今天的文章，上面的问题都会迎刃而解！

最后希望能帮助大家：

真正理解AI大模型的工作原理。

具体来说，我会从三个方面进行讲解：

1)文本生成的原理，怎样基于文本生成模拟对话。

2)基于llama模型的结构，讲解大模型的推理过程。

3)基于openai的GPT2模型，进行推理实验。

1.文本生成的原理

你是否困惑过，无论向chatgpt输入什么样的问题，它都能准确的回复。

并且，chatgpt还能参考过去的对话内容，生成符合历史对话的新回复。

不仅如此，如果我们觉得chatgpt回复效果不够好；

还可以让它重新生成一个、不同于之前的回复。

这究竟是什么样的原理呢？

实际上，我们看似是与chatgpt进行问答式的沟通与对话交流；

但对于gpt来说，它做的事情，仍然是文本生成。

也就是基于过去的数据，预测出下一个最有可能出现的单词。

下面我举两个例子，来说明这个问题。

1)到底什么是文本生成？

假如我们有一个AI大模型，比如GPT2。

此时我们向模型输入，“[cls]、今、天、天、气、真”，一共6个字(单词)。

我们希望模型基于这6个字，生成第7个字。

此时，模型会输出第7个字，是“的”字。

这里要需要特殊说明：

最开始的[cls]，是一个特殊标记；

它用于标记句子的起始位置；

模型需要基于一些特殊的标记来进行计算。

现在不太理解也没关系，可以暂时忽略这个cls标记。

接着，我们要生成第8个字。

对于第8个字的生成，就会依赖初始输入的6个字，与刚刚生成的第7个“的”字。

基于这7个字，模型会继续生成“很”字。

接着，我们可以再基于这8个字，再向后生成一个字；

也就是第9个字，模型会输出“好”字。

以此类推，接着往后生成“，我们一行人去吃的，我们点了一个牛肉锅”。

总结来说：

文本生成，就是使用前面的字作为输入，生成新的字。

而到底要生成多少内容，取决于我们希望生成多少内容。

也就是，只要你愿意，大语言模型可以生成无穷无尽的文本。

2)chatgpt和文本生成又有什么关系？

chatgpt就是对话形式的文本生成。

假如此时，我们有一个经过对话数据微调的、中文GPT2大语言模型。

同样向这个模型输入“[cls]、今、天、天、气、真”，一共6个字。

这一次我们会发现，生成的下一个字是“好”；

然后是“[SEP]”；

接着是“是的，你最近怎么样[SEP]挺好的，你呢[SEP]”。

这又代表什么意思呢？

SEP分隔符

实际上，SEP就像一开始的[cls]，是一种预定义的特殊字符；

SEP用于表示对话的分隔符。

我们可以将SEP看做是两个人对话的分隔标记。

模型专门输出这个特殊字符[SEP]，来指示对话的结构。

例如，如果以SEP分割模型生成的文本，就会模拟出两个人的对话。

例如，我们可以将：

第1句“今天天气真好”看做是A说的；

第2句“是的，你最近怎么样”看做是B说的；

第3句“挺好的，你呢”，又是A说的；

第4句“我也是，还在上班”，又是B说的。

这样就得到了，对话形式的生成结果。

我们在使用模型的输出时，也就是chatgpt在展示结果的时候：

只需要展示、输出第1个SEP后与第2个SEP前的文本就可以了。

也就是说，chatgpt会回复：

“是的，你最近怎么样”，这样就可以了。

这之后的输出，对于此时的对话是没有意义的。

当看到SEP后，就代表了本次的回复结束了。

综合上面这两个例子：

我们就会发现：

chatgpt的本质，就是文本生成。

模型本身，并没有试图去理解对话本身的意义。

chatgpt仅仅是通过文本生成，模拟出对话的效果而已。

所以，大家会不会觉得：

AI大模型也不过如此呢？

2.如何推理计算出下一个字

如何基于已有的文本，计算出下一个字呢？

也就是：

到底如何基于“[cls]、今、天、天、气、真、”；

计算出下一个单词是“的”；

再下一个字是“很”；

再下一个是“好”呢？

下面我基于llama3模型，来说明这个问题。

简单介绍Llama3，它是Meta的开源AI大模型；

效果先放一边，最关键的是它的资料非常全面；

对于学习者来说，是难得的学习资源。

Llama3基于Transformer架构。

如果真想搞懂llama，肯定需要先理解Transformer。

下面我会基于Transformer和llama的模型结构图；来解释大语言模型的推理过程。

大家即使看着似懂非懂也没关系，关键是感受一下大模型是如何工作的。

下面进入正题！

1)模型的结构：

左图是Transformer结构图，右图是llama结构图。

Transformer中的左侧结构是编码器，右侧是解码器。对比观察这两个结构图可以看到，llama模型借鉴了Transformer的解码器。

实际上，生成式的AI大模型，都依赖Transformer的解码器架构。如果深入来看模型方框中的结构；Transformer的解码器和llama模型，同时都包括了：

红色的embedding层
绿色的标准化层
橙色的自注意力机制
蓝色的前馈神经网络

在模型的输出位置，又同时都有：

一个灰色linear线性层
一个绿色的softmax层

2)数据流的计算

输入数据Input标记为1，会从下方输入。

首先经过2号embedding，进行词嵌入，将单词序列转为向量序列。

接着进入N个transformer块，进行特征提取。

虚线框中的结构，编号3到10，都是Transformer块中的内容。

我们只需要知道，它们会将Input，转换为一个固定长度的向量。

接着，这个向量会被11号RMS-norm和12号Linear层处理。

3)预测下一个字

预测下一个字，就是使用Linear层+softmax层。

Linear层用于将特征向量的维度数，转换为字典中字的数量。

softmax层用于计算下一个字出现的概率，也就是预测下一个字。

这实际上是一个分类的过程！

假如在中文词汇表中，有1000个字：

那么它就是一个1000个类别的多分类任务。

具体来说：

给定的输入文本会被Transformer转为固定长度的向量：

图中标记的4096，就是输入文本转换后的维度。

这个4096的向量会输入到Linear线性层：**通过Linear线性层：**我们可以将这个4096维的向量，转换为字典中字的个数的维度的向量；比如字典中有1000个字，那么就被转为1000维的向量。从而进行1000个类别的分类。分类的结果，就是具体的某一个字。将1000维的向量，继续输入到softmax层： softmax层会给出1000个字，每个字可能的概率。例如，对输入文本“今天天气真”进行“分类”，就得到“好”字。

4)如何选择输出结果

贪心方式选择：

如果我们选择概率最大的字作为下一个字，进行输出；

这是贪心的方式来选择结果。