书生大模型-基础岛2-8G 显存玩转书生大模型 Demo-优快云博客

本文链接：https://blog.youkuaiyun.com/WongChiang/article/details/140824411

任务详情: https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/Demo/task.md

基础任务（完成此任务即完成闯关）

使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。
在这里插入图片描述

step1：配置环境

# 创建环境
conda create -n demo python=3.10 -y
# 激活环境
conda activate demo
# 安装 torch
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
# 安装其他依赖
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0
pip install streamlit==1.37.0

这里使用的是上海AI Lab，提供的服务器，可以直接clone开盒即用的环境：

 (base) root@intern-studio-40077097:~# studio-conda -h
  说明: 用于快速clone预设的conda环境
  使用: 
    1. studio-conda env -l/list 打印预设的conda环境列表
    2. studio-conda <target-conda-name> 快速clone: 默认拷贝internlm-base conda环境
    3. studio-conda -t <target-conda-name> -o <origin-conda-name> 将预设的conda环境拷贝到指定的conda环境

step2：运行脚本

源码来自官方教程文档

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


model_name_or_path = "/root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path,<