深入剖析大模型原理——Qwen Blog

1. 输入部分

• Text：原始输入文本，模型需要处理的自然语言数据。
• Tokenizer：分词器，将输入文本转换为词汇表中的索引（ID），便于后续处理。
• Input_ids：经过分词处理后的ID序列，作为模型的输入。

2. 嵌入层

• Embedding：将输入的ID转换为高维向量（嵌入向量），使得模型能够理解词汇之间的语义关系。

3. 主干结构（Qwen2）

• Qwen2：模型的核心部分，包含多个层（Layers），用于处理输入数据并提取特征。
• Hidden_states：在每一层中生成的隐藏状态，表示模型对输入的理解和特征提取。

4. 层（Layers）

• Layers1, Layers2, …, Layersn：表示模型中的多个层，每一层都对输入进行处理，提取更高层次的特征。