小人物的博客

原创 transformer学习笔记

Transformer 模型的底层输入通常是经过分词（tokenization）的词或子词单元，而不是整个句子。输入的每个词或子词会被转换为向量表示，然后通过位置编码和词嵌入传入模型进行处理。先把句子“我今天中午吃了饺子”分成更小的词（叫分词）。把每个词转成数字，模型通过这些数字来理解词语。给每个词加上顺序信息（位置编码），让模型知道词的位置。模型通过自注意力机制“理解”每个词和其他词的关系。最终，模型输出一个结果，比如情感判断或翻译。