Silver__Wolf的博客

往期的Llama2-7b-chat中我们试用了官方的demo，但是那个demo只能在代码中传入固定的对话，我稍微修改了一下，使其能在命令行中不间断对话（不具备记忆功能）

Hugging face是一个开源的模型社区，里边包含各种各样的模型。Hugging face在github上开源了一个Transformers库，这个库非常的好用，我们可以用这个库做模型的推理、微调。推荐这个库的另一个原因是简单好用，我们看一下huggingface的网站huggingface除了开源模型外，还提供数据集、模型的结构与训练代码，我们甚至可以无痛在这个框架下做模型finetune。

上一篇博客讲了我跑Llama的demo的心路历程（），这篇我们主要是讲下怎么配置。

最近在玩大模型，玩了ChatGLM3感觉不过瘾，又去玩了Llama2（在Windows上简直难的离谱），下边我讲为大家讲一下我的心路历程。

1. 本机系统Windows11，因此安装WSL非常快，PowerShell命令行打开，键入完事。3. 不要慌，我们找找万能的百度。百度告诉我，命令行打开PowerShell，键入。2. 理论上这么简单的事情必然不简单了，果不其然，重启后（RNN,退钱！为了不太麻烦就选择了WSL2，废话不多说，正式开始。4. 再次重启后我就放心了，终于可以愉快的玩耍了。1. 在Windows快速验证开源大语言模型。130856474

往期已经进行过ChatGLM3的部署了，感兴趣的可以搜索往期的博客，我们今天主要使用github项目工程提供的demo进行玩耍，ok开始。

pytorch是支持单机多卡甚至是多机多卡训练的，目前大部分的模型朝着6G甚至好几十G上涨，单凭一张显卡有点难以招架了。上回测试ChatGLM3-6B推理都消耗了8G，单卡全参数训练可能够呛了，研究一下多卡分布式的，后续做chatGLM的finetune。DDP的大致原理是模型进行拷贝，数据多路输入在模型中求梯度、求多个模型的均值梯度统一做反向传播，大致的前向传播如下图，反向太复杂了不描写，感兴趣的朋友自行查找资料。正文完毕，后续上代码。

Whisper是openai开源的一个通用的语音识别模型，它在不同音频的大型数据集上训练，也是一个多任务模型，可以执行多语言语音识别、语音翻译。Whisper代码地址Whisper论文地址。