ChatGLM2-6B模型推理流程和模型架构详解

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• 前言
• 1 ChatGLM是什么？
• 2 一代GLM
• • 2.1 大模型架构
  • 2.2 GLM特点
• 2 二代GLM：ChatGLM2-6B为例拆解
• • 2.1 ChatGLM2-6B模型推理架构和流程
  • 2.2 细节详解
  • • 第一步：输入与分词、编码
    • 第二步：嵌入Embedding，可迁移重用
    • 第三步：GLMBlock*28
    • 第四步：生成next token
• 3 总结

---

前言

因为本人在做大模型优化方面的研究，之前拆了ChatGLM2的源代码，看看能从哪些地方深入。结果刚拆完没多久，昨天，也就是10 月 27 日，智谱 AI 在 2023 中国计算机大会(CNCC)上发布