如何安装和使用vicuna

Vicuna 是基于 LLaMa 微调得来的大规模语言对话模型。

本文以 Vicuna-7B 模型为例，安装和使用 Vicuna。若需使用 Vicuna-13B 模型，仅需把参数 7B 改成 13B 即可。

0. 虚拟环境

在 conda 中创建虚拟环境，python 版本要求在 3.8 以上：https://blog.youkuaiyun.com/Yu_L2/article/details/105186991

虚拟环境还要安装 torch：https://pytorch.org/get-started/previous-versions/

以及 transformers：https://huggingface.co/docs/transformers/installation

等库。

1. 克隆项目到本地

克隆 Vicuna 库到本地。

git clone https://github.com/lm-sys/FastChat.git

2.安装LLaMA

可以通过以下命令下载 LLaMA。

pip install pyllama -U
python -m llama.download --model_size 7B

【提示】模型下载速度较慢，可以通过 Ctrl+C 终止下载，再重新运行该命令继续下载。

3.转换模型

下载