weixin_46357639的博客

个人对Transformer的学习笔记与详细教程，多头注意力机制是用不同的头捕捉序列中不同的语义特征的一种方法。

Transformer中自注意力机制的详细教程，本人的学习笔记与总结，从提问的角度进行剖析。

循环神经网络的学习笔记，从学习者的角度分析其基本原理

LSTM模型学习笔记，讲解的很清晰

本文介绍了自然语言处理中Tokenization和Embedding的核心概念。Tokenization将文本切分为最小处理单元（如单词、子词或字符），为模型提供离散化的语言结构。Embedding则将这些token映射为向量表示（如Word2Vec、GloVe等方法），赋予token数字形式和基础语义信息，使模型能够捕捉语义关系。文章通过示例展示了如何将句子"this is a cute cat"转换为token再转为向量矩阵的过程，说明这两个步骤是模型处理文本的基础预处理环节。