8G 显存玩转书生大模型 Demo
- 记录复现过程并截图
基础任务(完成此任务即完成闯关)
- 使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署,并生成 300 字小故事,记录复现过程并截图。
1. 创建开发机
资源配置选择10% A100
,镜像选择Cuda12.1-conda
,将开发机命名为InternLM-Demo
并创建:
2. 配置环境
用conda创建虚拟环境demo
并通过pip和conda安装所需依赖:
# 创建环境
conda create -n demo python=3.10 -y
# 激活环境
conda activate demo
# 安装 torch
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
# 安装其他依赖
pip install