大模型之token的理解

如果你也关注大模型（LLM），一定不止一次遇到过 “token” 这个词。但究竟什么是 “token” ，我发现不少人说不清楚。因此，今天我要尝试使用易于理解的语言来解释它。事实上，如果没有对 token 有一个扎实的理解，你将很难理解大模型运作的关键。

#!注!# 尽管我现在理解 token 这个概念，但是我实在还不清楚其公认的中文翻译是啥。

首先，token 是大型语言模型处理和生成文本的核心。如果你曾经好奇为什么一个人工智能在某些单词或短语上似乎表现得有些停顿，事实上，那通常是因为分词的问题，也就是和 token 有关。

什么是 token ？

在大型语言模型中，"token" 基本上是模型读取和理解的一个文本块。它可以短到单个字母，也可以长到一个单词甚至单词的一部分。可以把它想象成人工智能模型用来处理信息的基本单位。大模型实际上不是将整个句子一次性读取，而是将它们分解成这些小的可消化的部分——token。

简单来说：

想象一下你在教一个孩子一门新语言。你会从基础开始，包括：字母、单词和简单句子。

语言模型的工作原理类似。它们将文本拆分成更小、易于处理的单位，称为 token。

可以使用 Tiktokenizer ，这是一个方便的工具，用于可视化和理解不同模型是如何对文本进行分词的。

[ Tiktokenizer：https://tiktokenizer.vercel.app/ ]

例如，句子 “The quick brown fox jumps over the lazy dog” 可以如下进行分词：