通俗易懂的 AI 技术

大家好，我是董章鱼。昨天马斯克在 X 平台上放话了，说 Grok 5 就是 AGI（通用人工智能）。他没有弯弯绕，简单直白的说了：Grok 5 可以实现 AGI。作为一名一直在跟 AI 打交道的开发者，我读到这条消息第一反应不是兴奋，而是想，老马是真藏了什么牌，还是故弄玄虚为 Grok 4.x 版本造势？

微调是指在一个已经训练好的大模型基础上，用特定领域的数据再重新进行训练，让它更适应某个具体任务。

在进行文本处理之前，文本转换为词嵌入向量是必须的，并且要转换为具有多个维度的高维向量，以此来衡量文本的语义。在GPT-4的词嵌入空间中，推荐使用余弦相似度来衡量向量的“距离”，这是因为 GPT-4 把嵌入向量标准化到了1，从而使得余弦相似度与欧氏距离在衡量向量相似性上具有一样的排名。在其他的场景下，也可以使用余弦相似度这一指标来衡量向量的相似性。比如衡量两个文本或图像是否相似，直接计算其余弦相似度，也是一种简单有效的办法。参考:^维基百科余弦相似度：董章鱼的公开 AI 空间。

首先，词嵌入的作用，是将整数（这里就理解为 token ID 就好了）转换为一个固定大小的向量。这些转换过程可以通过模型的大规模训练来完成。转换完之后的向量可以捕获以及表达 token 之间的复杂关系，比如语义关系、语法关系等。这些向量通常被称为嵌入向量，用多维数据进行表示，每一维都代表 token 的一些隐含特征。举个例子，假设 cat 转换为词嵌入向量后为 [100, 200, 300]。这里是为了举例子，用了一个仅包含3个特征（通常情况下为512个特征）的向量。

前面几节一直在介绍 token 相关的内容，相信你看到这里，对 token 肯定很了解了吧。如果对 token 本身还有其他疑问，可以在本文下留言。本节开始，进入下一步骤，由 token 到数值的转换。以上3个步骤中，每一个其背后都有重要的意义和作用。本节先介绍第一个步骤：文本到数值的转换。

在你了解了 token 的概念以及对文本进行分词的大致过程后。本节给出一个使用 GPT4 模型（当前 OpenAI 最强大的模型）拆分 token 并将拆分结果进行可视化的网站，你可以去这个网站上测试一下分词效果。

前面两节分别通过两个代码示例展示了模型将文本转换为 token 之后是什么样的，希望你可以对此有一个感性的认识。本节来简要介绍一下将一个连续的文本转换为 token 序列的大致过程，这个过程被称为，也叫。在你没了解这方面的知识之前，如果让你实现一个类似的算法，你会如何来实现呢？我想你可能最先想到便是。

在上一节，利用 BERT 模型将一个文本进行了 token 化。那你可能会问，是不是所有的模型将同一个文本 token 化之后，结果都一样呢？这是因为不同的模型对文本进行 token 化时使用到的算法不一样。在 BERT 中用到的是 WordPiece 算法，而 GPT 系列模型将文本进行 token 化时，使用的则是 Byte-Pair Encoding（BPE）算法，这两种算法虽然不是本专栏的重点，但后面也会专门来讲解一下。

在上一节，我们介绍了 token 的概念。你可以这么认为， token 是自然语言处理场景（如文本生成、AI聊天）下，AI 模型能够处理的最小单位。在计算机视觉中，模型以像素为单位来处理图像像素之间的关系，而语言模型则是以 token 为单位理解 token 之间的关系。下面通过一个小例子，来展示一下语言模型是如何将一段文本转换为 token 的，以及模型将文本转换为 token 之后是什么样子。通过这个例子，希望你可以对模型处理 token 的过程有一个感性的认识，。

在计算机相关领域中，token 通常是指一串字符或符号。比如微信公众平台的密钥，就被称作一个 token，其实就是一长串的字符串。在人工智能领域，尤其是自然语言处理(Natural Language Processing, NLP)领域中， “token” 指的是处理文本时所能处理的最小单元或基本元素。它可以是一个单词、一个词组、一个标点符号、一个子词或者一个字符。