LLama2原始权重转Hugging Face权重

准备工作

1. 环境设置

首先确保你的系统中已经安装了Hugging Face的transformers库。如果还未安装，可以通过以下命令安装：

pip install transformers

2. 获取转换脚本

转换LLama模型需要使用transformers库中的convert_llama_weights_to_hf.py脚本。你可以使用以下命令在你的系统中找到这个脚本的位置：

find / -name 'convert_llama_weights_to_hf.py' 2>/dev/null

该脚本的完整路径稍后将用于执行模型转换。

模型下载与准备

1. 克隆LLama项目

从GitHub克隆LLama项目到本地，这可以通过以下命令完成：

git clone https://github.com/meta-llama/llama

2. 下载模型权重

进入克隆下来的LLama项目目录，执行download.sh脚本来下载模型权重。我们全篇文章都以7B模型为例，可以这样操作：

cd llama
./download.sh

它将要求输入你申请到的下载链接和要下载的模型(7B,13B,70B,7B-chat,13B-chat,70B-chat)，当然我们输入7B。

下载完成后，将下载下来的模型文件夹重命名为7B。

转换模型权重

1. 设置输出目录

创建一个新的目录用于存放转换后的Hugging Face模型权重：

mkdir path_to_your_hf_model_output

2. 执行权重转换

最后，执行以下命令来转换模型权重：

python path_to_your_convert_llama_weights_to_hf.py \
--input_dir path_to_your_llama \
--model_size 7B \
--output_dir path_to_your_hf_model_output

请确保替换命令中的path_to_your_convert_llama_weights_to_hf.py、path_to_your_llama和path_to_your_hf_model_output为实际的路径。

其中path_to_your_convert_llama_weights_to_hf.py为你在之前通过命令找到的convert_llama_weights_to_hf.py脚本完整路径。注意path_to_your_llama为整个LLama项目的路径，而不是刚刚下载到项目文件夹中的模型文件夹路径。

对于--model_size参数，根据您的实践下载模型替换即可。

完成

执行上述命令后，转换的模型权重将存储在指定的输出目录中。