大模型部署手记（8）LLaMa2+Windows+llama.cpp+英文文本补齐

1.简介：

组织机构：Meta（Facebook）

代码仓：https://github.com/facebookresearch/llama

模型：llama-2-7b

下载：使用download.sh下载

硬件环境：暗影精灵7Plus

Windows版本：Windows 11家庭中文版 Insider Preview 22H2

内存 32G

GPU显卡：Nvidia GTX 3080 Laptop （16G）

2.代码和模型下载：

下载llama.cpp的代码仓：

git clone https://github.com/ggerganov/llama.cpp

需要获取原始LLaMA的模型文件，放到 models目录下，现在models目录下是这样的：

参考 https://blog.youkuaiyun.com/snmper/article/details/133578456

将上次在Jetson AGX Orin上的成功运行的7B模型文件传到 models目录下：

3.llama.cpp环境安装：

查看readme，找到llamp.cpp在Windows上的安装方式

打开 https://github.com/skeeto/w64devkit/releases

找到最新fortran版本的 w64devkit：

下载完成后系统弹出：

往前找一个版本v.19.0试试：https://github.com/skeeto/w64devkit/releases/tag/v1.19.0

解压到 D:\w64devkit

运行 w64devkit.exe

切换到 d: 盘

cd llama.cpp

python -V