在Windows下编译出llama_cpp_python的DLL后，在虚拟环境中使用方法

最新推荐文章于 2025-06-25 09:02:31 发布

原创最新推荐文章于 2025-06-25 09:02:31 发布 · 533 阅读

CC 4.0 BY-SA版权

文章标签：

Llama Factory

模型微调

LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

在VS2022编译完成后，在构建目录（如build/Release或build/Debug）中寻找以下关键文件：

ggml.dll、ggml_base.dll、ggml_cpu.dll、ggml_cuda.dll、llama.dll（核心动态链接库）
在这里插入图片描述

llama_cpp.py（Python接口文件）
在这里插入图片描述

其他依赖的DLL（如ggml.dll、CUDA相关DLL等）

在虚拟环境中创建包目录：

cmd

mkdir myenv\Lib\site-packages\llama_cpp

复制所有编译生成的文件：
在这里插入图片描述
将上述编译出来的动态库复制到myenv\Lib\site-packages\llama_cpp\lib目录下
将llama_cpp_python\llama_cpp*.py复制到myenv\Lib\site-packages\llama_cpp目录下

copy path\to\build\Release\*.pyd myenv\Lib\site-packages\llama_cpp
copy path\to\llama_cpp_python\llama_cpp\*.py myenv\Lib\site-packages\llama_cpp

复制CUDA DLL（如需要，我这测试是不需要的）：

cmd
copy “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\bin\cudart64_*.dll” myenv\Lib\site-packages\llama_cpp

您可能感兴趣的与本文相关的镜像

Llama Factory

模型微调

LLama-Factory