解锁对话新体验：ChatGLM3 模型微调教程（第一版本）

算家计算

于 2024-12-17 11:04:30 发布

阅读量1.2k

点赞数 22

CC 4.0 BY-SA版权

分类专栏：模型构建文章标签：人工智能算力 AI 智能对话文字生成 ChatGLM3 python

本文链接：https://blog.youkuaiyun.com/SJJS_1/article/details/144529157

ChatGLM3 是一个对话预训练大模型，由清华大学 KEG 实验室和智谱 AI 共同就研究发布。其中ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，不仅有前两代模型对话流畅、部署门槛低等众多优秀特性，还增加引入了如下特性：

更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base ，采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。通过评测显示在语义、数学、推理、代码、知识等不同角度的数据集上，该基础模型在 10B 以下的基础模型中拥有最强性能。
更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式，除了正常的多轮对话外，同时也支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base 、长文本对话模型 ChatGLM3-6B-32K 和进一步强化了对于长文本理解能力的 ChatGLM3-6B-128K。