a61022706的博客

因为需要测试baichuan2模型在给定数据集性能，因此开启了在Linux系统上部署baichuan2模型之旅。

由于项目代码要求pytorch2.0版本，而pytorch2.0版本需要cuda11.8，高于我之前的11.0的cuda版本。因此考虑使用conda新建一个虚拟环境，在里面使用高版本的cuda和pytorch。

在服务器上使用huggingface模型时，如果直接指定模型名称，用AutoTokenizer.from_pretrained(“model_name”)，可能会由于网络原因会报错 Failed to connect to huggingface.co port 443 after 75018 ms: Operation time out因此我们需要下载模型到服务器上，得到模型本地的路径model_dir，再通过AutoTokenizer.from_pretrained(model_dir)方式来使用。

服务器上anaconda下载及pytorch配置过程​ 本文介绍利用mobaXterm连接服务器，再下载anaconda，配置Pytorch的过程，下载过程中经常有报错，踩了一些坑。本文是回忆文，可能有些步骤忘记了，可以再看看。1. 登录服务器，下载anaconda先打开mobaXterm，打开session连接服务器。如果是第一次登录的话，可以点击左上角的session - SSH， 输入端口号，用户名，在命令行中输入密码。（1）下载anaconda先在[清华镜像源][https://mirr

Anaconda下的pytorch环境配置及pycharm导入（win10+CPU)首先下载Anaconda与pycharm两个软件，可移步至各教程。注意pycharm专业版的需要破解，否则无法远程连接服务器调试。1.创建Pytorch环境。我们首先使用anaconda来创建一个Pytorchd的工作环境。打开Anaconda Prompt命令行，切换到D盘的根目录下，使用以下语句来创建。环境名称为 pyTorchEnv ,其中Python版本根据自己电脑设置。conda create -n pyT