风信子的博客

2.1 DeepSpeed概述定位：微软开源的分布式训练优化框架，支持千亿参数模型训练。核心目标：降低大模型训练成本，提升显存和计算效率。集成生态：与PyTorch无缝兼容，支持Hugging Face Transformers库。2.2 核心技术原理：通过分片优化器状态、梯度、参数，消除数据并行中的显存冗余。阶段划分：ZeRO-1：优化器状态分片。ZeRO-2：梯度分片 + 优化器状态分片。ZeRO-3：参数分片 + 梯度分片 + 优化器状态分片。

使用Qwen/Qwen1.5-0.5B-Chat训练对话模板不一样。回答的内容就会不一样。我们可以看到例如qwen模型的tokenizer_config.json文件，就可以看到对话模板，一般同系列的模型，模板基本都一致。可以通过更改chat_template(对话模板)内容，来实现自己想要的对话模板。