8G 显存玩转书生大模型 Demo
环境配置
首先需要创建一个可用的环境。创建虚拟环境直接conda create一个,不要在平台中copy共享的环境,速度太慢。python版本建议3.10,安装cuda版pytorch,然后还需要安装下面这些依赖。
# 安装其他依赖
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0
pip install streamlit==1.37.0