手把手教你租用服务器以及Pycharm远程连接服务器训练模型

本文介绍了如何租用服务器,特别是对于初学者,推荐使用AutoDL并选择合适的镜像。详细步骤包括选择TensorFlow2.9镜像,管理服务器开机状态,创建和配置远程Python解释器,以及创建虚拟环境安装TensorFlow-GPU。此外,还讲解了数据集的上传、代码运行和自动关机以节省费用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

由于模型优化过后训练时间太长,所以想使用显卡或者租服务器进行训练,but显卡太贵(只有A卡),那就租服务器好了,开始了解怎么租,去哪租一系列问题,果然只要开始思考,就是一个接一个的困难,直接被击碎。终于找到了AutoDL,美美的开始租服务器,结果又绊在了选择镜像上,一开始我以为是要在本地部署好相关环境,然后使用自己租的显卡,安装好了对应的cuda以及cudnn,胡乱折腾了一天,没想到使用GPU训练这么复杂。第二天继续研究,发现根本不需要在本地部署(我心态超好)起码创建虚拟环境什么安装命令给我练熟了!会了之后发现挺容易的哈哈哈哈(但我自己瞎琢磨了一两天)


本文主要解决问题:如何租用服务器、如何使用Pycharm远程连接服务器进行模型训练
如果你也是第一次租用服务器,那就接着看下去吧!希望可以快速帮到你!!!


1.租用服务器

个人认为AutoDL很不错,建议先去看帮助文档,能解决大部分问题。
快速开始,我这里选择的镜像是TensorFlow 2.9。租好之后,默认开机状态,建议关机或无卡模式开机!
image.png
如果给出的框架版本或者python版本不满足需求,可以在框架官网查看对应版本,选择对应cuda版本的Miniconda镜像,如果都不满足,随便挑选一个Miniconda镜像,在开机后自行安装相关框架、CUDA、其他版本的Python。
查看tensorflow对应的版本以及cuda版
image.png
image.png
建议多租几块,只要不开机,就不会承担费用。只租一块的话,可能出现空闲GPU不足的情况。
image.png

2.pycharm远程开发

只有专业版支持远程开发,你需要安装一个professional pycharm
Pycharm—>File—>Settings
image.png
在AutoDL->控制台->容器实例中获取你需要连接的服务器的登录指令(建议无卡模式)
image.png
image.png
继续下一步,直到看到下面的弹窗。选择System Interpreter,配置远程Python解释器地址为/root/miniconda3/bin/python
配置同步目录,意思是本地项目和远程实例中的哪个目录进行关联,这里设置为实例的数据盘子目录:/root/autodl-tmp/project/ (不建议使用默认的/tmp目录)(我这里忘记改了)
image.png

3.在服务器终端创建虚拟环境

你可以就在base中安装依赖,但我建议创建虚拟环境(使用虚拟环境可以避免包的混乱和版本冲突)

conda create -n tf-gpu python=3.8           # 构建一个虚拟环境,名为:tf-gpu
conda init bash && source /root/.bashrc     # 更新bashrc中的环境变量
conda activate tf-gpu                       # 切换到创建的虚拟环境:tf-gpu

image.png
image.png
image.png

4.安装软件依赖

# 切换conda虚拟环境后
conda install tensorflow-gpu==2.9.0     # conda会自动解析依赖安装tensorflow 1.15.0版本需要的cuda和cudnn,无需自己独立安装

不放心有没有对应的cuda和cudnn,可使用以下命令进行查看

# 查询平台内置镜像中的cuda版本
ldconfig -p | grep cuda
# 查询平台内置镜像中的cudnn版本
ldconfig -p | grep cudnn

image.png
image.png

# 安装完使用Python进行简单的测试:
import tensorflow as tf
tf__version__

5.上传数据集

1.使用JupterLab进行上传,只能上传(拖拽)压缩包
在这里插入图片描述
2.使用WinSCP进行上传和下载文件
WinSCP下载
自定义安装,选择合适路径,其余直接next
保持服务器开机,按以下步骤进行连接,就可以实现自由拖拽文件了
在这里插入图片描述
3.通过xftp上传数据集,直接手动拖拽上传即可。其他上传方式可参考AutoDL
image.png

6.运行代码

选中需要运行的文件,点击右键
image.png
image.png
复制一下,然后进入终端运行
image.png
在pycharm->terminal中会出现文字乱码情况,建议使用AutoDL的快捷工具JupyterLab进入terminal。
温馨提示:进入之后默认是base,如果创建了虚拟环境的话,一定要切换到你创建的环境中,然后运行代码!
image.png
修改Pycharm代码,会自动上传(配置远程服务器中勾选了Automatically upload复选框),如果找不到可运行的文件,重复以下步骤重新运行即可
image.png

7.自动关机

为了省钱,我们希望程序执行之后立马关机,我们可以在命令行之后加shutdown来实现

python 需要运行的文件名.py && shutdown  # 用&&拼接表示前边的命令执行成功后才会执行shutdown

怎么上传上来图片大小不一啊,看着好不舒服啊!

### 如何在PyCharm中设置远程服务器以进行模型训练 为了使PyCharm能够连接并利用远程服务器资源来执行模型训练任务,需按照特定流程操作。确保已登录至远程机器(如AWS或Google Cloud),并在该环境中创建了一个专门用于项目的文件夹以及一个新的虚拟环境。 #### 配置远程Python解释器 在PyCharm专业版中的项目设置里指定一个远程解释器是必要的步骤之一。这涉及到配置指向位于云服务提供商上的`venv`路径[^1]。通过此方式,可以使得本地开发环境与云端计算资源紧密结合,从而实现高效的数据处理和算法迭代优化过程。 ```bash ssh user@your_remote_machine_ip_address cd /path/to/your/project/ python3 -m venv my_venv source my_venv/bin/activate pip install --upgrade pip setuptools wheel ``` 上述命令展示了如何建立SSH连接远程主机,并在其内部构建独立的Python运行时环境。之后还需激活这个新创建出来的虚拟环境,并更新其中的关键包版本号以便后续安装其他依赖项时不遇到兼容性问题。 #### 映射代码同步机制 为了让开发者能够在本地编辑源码的同时保持远端实例始终处于最新状态,应当合理规划两者之间的映射关系。具体来说就是定义好哪些目录下的更改会被实时推送过去;反之亦然——当远程仓库有变动时也能及时拉取回来合并入当前分支之中。 #### 解决模块缺失错误 如果尝试启动脚本却遭遇类似于`ModuleNotFoundError: No module named 'matplotlib'`这样的异常提示,则说明所使用的Python环境下尚未安装所需的第三方库。此时可以通过PIP工具在线获取相应软件包解决此类难题: ```bash pip install matplotlib ``` 这条语句会自动下载并部署Matplotlib绘图库及其关联组件于目标平台上,进而消除因缺少必要组成部分而导致程序无法正常运作的情况发生[^2]。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值