ChatGLM2-6B模型推理流程和模型架构详解

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• 前言
• 1 ChatGLM是什么？
• 2 一代GLM
• • 2.1 大模型架构
  • 2.2 GLM特点
• 2 二代GLM：ChatGLM2-6B为例拆解
• • 2.1 ChatGLM2-6B模型推理架构和流程
  • 2.2 细节详解
  • • 第一步：输入与分词、编码
    • 第二步：嵌入Embedding，可迁移重用
    • 第三步：GLMBlock*28
    • 第四步：生成next token
• 3 总结

---

前言

因为本人在做大模型优化方面的研究，之前拆了ChatGLM2的源代码，看看能从哪些地方深入。结果刚拆完没多久，昨天，也就是10 月 27 日，智谱 AI 在 2023 中国计算机大会(CNCC)上发布了自研第三代对话大模型 ChatGLM3，这是智谱 AI 在今年内第三次对 ChatGLM 基座模型进行了深度优化。目前还没去拆它的源代码，所以也不太清楚和2代之间有什么区别。但2代的结构我觉得可以先发以下。

1 ChatGLM是什么？</