PyTorch TorchTune项目中的Tokenizer详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00316/article/details/148506159

PyTorch TorchTune项目中的Tokenizer详解

torchtune A Native-PyTorch Library for LLM Fine-tuning 项目地址: https://gitcode.com/gh_mirrors/to/torchtune

什么是Tokenizer

Tokenizer（分词器）是大语言模型(LLM)中的核心组件之一，它的主要作用是将原始文本转换为模型能够理解的token ID序列。在PyTorch TorchTune项目中，Tokenizer扮演着将Message对象转换为token ID序列并添加必要特殊标记的角色。

Tokenizer的基本工作原理

Tokenizer通常基于字节对编码(BPE)算法实现，如SentencePiece或TikToken。这些算法能够：

将文本分割成有意义的子词单元
为每个子词分配唯一的ID
处理特殊字符和标点符号
支持反向解码过程

在TorchTune中使用Tokenizer

基本使用示例

from torchtune.data import Message
from torchtune.models.phi3 import phi3_mini_tokenizer

# 创建消息对象
msgs = [
    Message(role="user", content="user prompt"),
    Message(role="assistant", content="model response")
]

# 初始化tokenizer
p_tokenizer = phi3_mini_tokenizer("/path/to/tokenizer.model")

# 对消息进行tokenize
tokens, mask = p_tokenizer.tokenize_messages(msgs)
print(tokens)  # 输出token ID序列
print(p_tokenizer.decode(tokens))  # 解码回文本

获取Tokenizer的两种方式

从Hugging Face下载：当下载模型权重时，相关的tokenizer文件会自动一起下载。
从本地文件加载：可以直接指定本地tokenizer模型文件的路径进行加载。

Tokenizer的高级配置

设置最大序列长度

控制序列长度有助于管理内存使用并符合模型规范：

from torchtune.models.mistral import mistral_tokenizer

# 设置最大序列长度为8192
m_tokenizer = mistral_tokenizer("/path/to/tokenizer.model", max_seq_len=8192)

# 演示小序列长度截断
m_tokenizer = mistral_tokenizer("/path/to/tokenizer.model", max_seq_len=7)
msg = Message(role="user", content="hello world")
tokens, mask = m_tokenizer.tokenize_messages([msg])
print(len(tokens))  # 输出7，表示被截断

特殊标记(Special Tokens)

特殊标记是模型特有的标记，用于指示模型的特定行为。它们与提示模板不同，因为每个特殊标记都有自己唯一的token ID。

TorchTune允许自定义特殊标记：

from torchtune.models.llama3 import llama3_tokenizer

# 使用自定义的特殊标记文件
tokenizer = llama3_tokenizer(
    path="/path/to/tokenizer.model",
    special_tokens_path="special_tokens.json"
)

Tokenizer的架构层次

TorchTune中的Tokenizer分为两个主要层次：

1. 基础Tokenizer(BaseTokenizer)

负责实际的文本到token ID的转换，必须实现encode和decode方法：

class BaseTokenizer(Protocol):
    def encode(self, text: str, **kwargs) -> list[int]:
        """将文本编码为token ID序列"""
        pass
    
    def decode(self, token_ids: list[int], **kwargs) -> str:
        """将token ID序列解码回文本"""
        pass

2. 模型Tokenizer(ModelTokenizer)

针对特定模型实现，必须实现tokenize_messages方法：

class ModelTokenizer(Protocol):
    def tokenize_messages(
        self, messages: list[Message], **kwargs
    ) -> tuple[list[int], list[bool]]:
        """将消息列表转换为token ID序列和掩码"""
        pass

模型Tokenizer与基础Tokenizer的关键区别在于它会自动添加模型所需的所有特殊标记和提示模板。

处理Hugging Face Tokenizer

当遇到不兼容的Hugging Face tokenizer时，可以使用HuggingFaceBaseTokenizer：

from torchtune.modules.transforms.tokenizers import HuggingFaceBaseTokenizer

hf_tokenizer = HuggingFaceBaseTokenizer(
    tokenizer_json_path="/path/to/tokenizer.json",
    tokenizer_config_json_path="/path/to/tokenizer_config.json"
)