为啥每个 LLM 的 Template 都不同？—— Qwen、Llama 3 与 DeepSeek 模型 Chat Template 对比及设计溯源

写在前面

在与大型语言模型（LLM）交互，尤其是进行对话式应用开发和监督式微调（SFT）时，我们总会遇到一个看似琐碎却至关重要的概念——Chat Template（对话模板）。开发者们常常发现，Llama 3 的模板规则是一套，换到 Qwen 模型又是另一套，再看 DeepSeek，格式又变了。这不禁让人疑惑：为什么不能有一个统一的标准？为啥每个模型的“对话语法”都自成一派？

这些模板差异往往关联着模型的预训练数据、设计哲学、甚至是网络结构的考量，理解这些差异，不仅能帮助我们正确地使用和微调模型，还能让我们更深入地洞察模型的设计思路。

本文将选取当前热门的三个模型系列——Qwen (以 Qwen1.5/Qwen2 为代表)、Meta Llama 3 以及 DeepSeek (以 DeepSeek-V2 为代表)——对比它们的 Chat Template，展示具体差异，并尝试结合模型特性，分析这些模板设计背后的可能出发点。

1. 预习一下：Chat Templates 与 Special Tokens