如何在AutoDL跑起一个深度学习模型

本文介绍了如何在AutoDL平台上租用GPU服务器,包括选择合适的服务器、配置PyTorch或TensorFlow环境、数据上传及文件传输。强调了数据应存放在数据盘,并提供了使用XShell和FlashFXP进行文件传输的方法。此外,还讨论了解压缩、验证MD5、搭建运行环境以及安装所需包的步骤。最后提到了VScode通过SSH进行远程开发的便捷性。

租用GPU服务器

AutoDL-品质GPU租用平台-租GPU就上AutoDL

在算力市场选择服务器,选择所要跑的代码对应版本的pytorch或tensorflow环境和版本。

由于我们现在还没有配置好,先关机,再选择无卡模式开机,比较便宜。

上传数据集

数据一般要放在数据盘,也就是autodl-tmp文件夹下。

AuToDL官方文档给的传输方式是用XShell和Xftp7(都是教育免费的),但下载好后发现其原理就是 SSH+SFPT,用FlashFXP或其他文件传输软件也可以(尽量用SFPT,Linux默认不支持FPT,需要额外安装服务)。因为官网有XShell的教程,我就只贴FlashFXP 

如果文件太大,可将其分割,上传后合并(如果不分割可能面多次临传输失败并需全部重传的风险)。但需注意:合并时,分割文件和总文件同时存在,占用2倍空间。以下分别是分割和合并命令。注意split是Linux命令,在windows下使用应下载GetGnuWin32(已经很老了,维护较少)MSYS2(需搭配MingGW)、 Cygwin,以使用split。

#分割命令
split -b 500m CVPR2016.rar log_

#合并命令
cat log_* > CVPR2016.rar

#检测MD5
### 如何在 AutoDL 云服务器上运行深度学习代码 #### 创建并启动实例 为了能够在 AutoDL 上顺利执行深度学习任务,需先完成账户注册以及创建合适的计算资源。具体操作包括登录官网后按照指引完成账号建立流程;随后进入控制面板挑选适合的硬件配置来构建新的虚拟机实例[^1]。 #### 配置开发环境 一旦实例成功部署完毕,则要着手准备必要的软件依赖项。这通常涉及到安装特定版本的操作系统、Python解释器以及其他可能需要用到的数据科学库或框架。对于 PyCharm 用户而言,建议通过 SSH 连接方式将本地编辑器链接到远程主机上的工作区,从而实现无缝编码体验[^5]。 #### 文件传输与管理 借助像 Xftp 这样的工具可以方便快捷地把本地计算机里的项目文件同步上传至云端存储空间内。只需遵循官方文档给出的相关指导就能轻松掌握整个过程——从下载客户端应用程序直至最终建立起稳定可靠的 FTP/SFTP会话通道[^3]。 #### 启动 JupyterLab 或其他 IDEs 如果倾向于图形化交互式的编程模式的话,那么不妨考虑启用内置的支持 Web 浏览器访问的服务端应用比如 JupyterLab 。这样不仅能够享受到直观易懂的操作界面带来的便利之处,而且还能充分利用其丰富的插件生态体系进一步提升工作效率。 #### 开始训练模型 当一切准备工作都已就绪之后,便可以直接调用命令行接口提交作业指令给 GPU 加速卡来进行大规模矩阵运算处理了。值得注意的是,在此期间务必密切关注资源消耗情况以免造成不必要的浪费现象发生。 ```bash nohup python train.py > output.log & ``` 上述脚本展示了怎样利用 `nohup` 命令让 Python 脚本后台持续运行而不受终端关闭影响的同时将其标准输出重定向保存成日志文件以便后续查看分析。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值