GPU云平台FloydHub的使用

本文详细介绍FloydHub平台的使用方法,涵盖官网注册、FloydCLI安装、项目创建、编辑,以及如何利用工作区和命令作业进行深度学习模型训练。深入解析数据集管理、模型API创建和作业输出保存等高级功能。

1. 官网注册

  • 打开FloydHub官网,注册。
  • 绑定信用卡,可免费获得2h的GPU和20h的CPU资源以及10G内存。

2. 安装 Floyd CLI

Floyd CLI 是基于 Python 的命令行工具,能够让我们通过终端访问 FloydHub 。

  • 安装Floyd CLI的官方文档给出以下两种安装方式:
    • conda install -y -c conda-forge -c floydhub floyd-cli
    • pip install -U floyd-cli
  • 安装完之后可以通过 –help 的方式获取帮助:
    在这里插入图片描述

3. 登录

登录命令官方文档给出两种登录方式:

  • 使用用户名和密码登录:floyd login
  • 使用身份验证令牌:floyd login --token

4. 创建项目

一个项目(Project)是运行的作业(jobs)及其日志(logs)和结果(results)的集合。

www.floydhub.com/projects 点击“New Project”按钮,即进入创建项目页面。
在这里插入图片描述
进入新创建的项目下,有以下5个选项:
在这里插入图片描述
类似 GitHub,也可以在这个项目下加一个 README 文件,只要创建一个 .md 为扩展名的文件就可以了。详见创建项目官方文档

5. 编辑项目

  • 5.0是一个实例,介绍如何在FloydHub执行一个完整的项目
  • 之后的小节是一些细节,基本是翻译的教程,可作查阅使用。

5.0 Get a Quick Start

详细教程参考GetStart,以及FloydHub 初体验也是很好的教程,下面作简述。

运行项目的两种方式

  • workspace:可以创建jupyter、Console、Terminal从头开始编写代码,也可以从GitHub上克隆(详见worspace小节)
  • Floyd CLI
    • Anaconda Prompt终端进入本地项目地址,然后创建项目:可在本地编写好代码,也可从GitHub下载代码到本地。
    • 本地初始化FloydHub项目:floyd init <name_of_project>,该命令将在Floyd CLI用于跟踪作业并与floydhub.com同步的目录中创建一些文件。
    • 执行代码floyd run [OPTIONS] [COMMAND]来执行一个job(详见job小节)。

5.1 Workspaces:Build models with Workspaces

  工作区是为深度学习和机器学习而构建的用于开发和运行代码的交互式环境(Jupyter Lab),可以运行Jupyternotebooks、Python脚本等等。在重新启动时,工作区中的所有文件和数据将保留,可以将它看作是云上机器。

  • 创建和运行jupyter notebook;
  • 在GPU和cpu驱动的机器之间切换
  • 将数据集附加到工作区
  • 终端访问运行脚本
  • 在你需要的时候开始和停止

Basic

创建一个workspace
  要创建新的工作区,只需单击项目页面中的create workspace按钮:
在这里插入图片描述
选择需要的环境和想使用的机器:

创建成功:
在这里插入图片描述
关闭一个workspace
  如果想要停止此工作区,单击Shutdown按钮,当前目录(/floyd/home)中的所有文件和目录将被保存。

注意事项:

  • 在关闭工作空间之前保存所有的笔记本和文件,所有运行的笔记本和脚本将在关机期间停止。
  • 工作区运行的整个期间都需付费,如果不使用工作空间,请确保关闭它;如果运行时不足,可以购买升级来启动工作空间。

恢复一个workspace
  单击project页面中的resume按钮,可以恢复对已停止工作区的工作,这将使工作区恢复到以前的状态。
在这里插入图片描述
workspace界面

Code

  工作区位于目录/floyd/home,只有存储在此目录中的代码和数据文件将在重新启动时保留。

从本地计算机上传代码
  • 可以使用文件查看器面板(左侧)中的upload按钮从本地计算机上上传代码和其他文件。
  • 确保将代码上传到/floyd/home目录中。
    在这里插入图片描述
从GitHub下载代码

如果代码在Github(或任何在线存储库)上,还可以使用git clone命令克隆存储库。
方式一:使用Terminal
在这里插入图片描述
方式二:使用Jupyter Notebook cell
在这里插入图片描述

使用Terminal

  可以在工作区中打开Bash终端(控制台)来运行代码、调试或检查文件。要打开一个新的终端,单击文件查看器面板(左边)中的+按钮,然后单击终端图标。
在这里插入图片描述

  • Windows用户
    • 复制:选中文本,Shift+RightClick
    • 粘贴:Ctrl+Shift+V
  • 如果您的终端由于不活动而冻结,请右键单击并选择Refresh terminal

Data

从网络上下载

如果数据在网络上可用,还可以使用终端将其直接下载到工作区中。

# Ensure you're in your workspace directory
cd /floyd/home
wget http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz
附加FloydHub数据集

  FloydHub提供了一种管理大型数据集的简单方法,可以实现跨项目使用这些数据集,不是在每次启动工作空间时下载数据,而是将数据作为FloydHub数据集上传。可以使用右侧面板将FloydHub数据集附加到工作空间,需要指定数据集的名称和要将其附加到的目录,数据挂载完成后,就可以开始在代码中使用这些文件了。一旦附加了数据集,即使停止并恢复工作空间,它也将是可用的,目前没有选项可删除已挂载的数据集。下图为附加MNIST数据集。
在这里插入图片描述
查看附加数据集:

所有FloydHub数据集都附在/floyd/input下面,可以使用文件查看器面板查看附加的数据集,单击Home图标并选择data dirctory。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值