Silver__Wolf的博客

往期的Llama2-7b-chat中我们试用了官方的demo，但是那个demo只能在代码中传入固定的对话，我稍微修改了一下，使其能在命令行中不间断对话（不具备记忆功能）

上一篇博客讲了我跑Llama的demo的心路历程（），这篇我们主要是讲下怎么配置。

最近在玩大模型，玩了ChatGLM3感觉不过瘾，又去玩了Llama2（在Windows上简直难的离谱），下边我讲为大家讲一下我的心路历程。

在前几期的博文中我们讲了pytorch的DDP，但是当时的demo是自制的虚拟数据集（），这期文章我们使用Mnist数据集做测试，测试并完善代码。

pytorch是支持单机多卡甚至是多机多卡训练的，目前大部分的模型朝着6G甚至好几十G上涨，单凭一张显卡有点难以招架了。上回测试ChatGLM3-6B推理都消耗了8G，单卡全参数训练可能够呛了，研究一下多卡分布式的，后续做chatGLM的finetune。DDP的大致原理是模型进行拷贝，数据多路输入在模型中求梯度、求多个模型的均值梯度统一做反向传播，大致的前向传播如下图，反向太复杂了不描写，感兴趣的朋友自行查找资料。正文完毕，后续上代码。