llama-cpp-python使用教程

最新推荐文章于 2025-11-06 15:12:13 发布

原创

最新推荐文章于 2025-11-06 15:12:13 发布 · 779 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#llama #python #开发语言

以下是 llama-cpp-python 的完整使用教程，涵盖安装、基础用法、高级功能（如GPU加速、多模态等）和常见问题解决。

1. 安装

1.1 基础安装（CPU版）

pip install llama-cpp-python -i https://pypi.tuna.tsinghua.edu.cn/simple

1.2 启用GPU加速（CUDA）

CMAKE_ARGS="-DGGML_CUDA=ON" pip install llama-cpp-python --force-reinstall --no-cache-dir

注意：需提前安装 CUDA Toolkit 和匹配的 NVIDIA 驱动。

1.3 其他后端支持

| 参数                | 用途                     | 示例命令                                                                 |
|---------------------|--------------------------|--------------------------------------------------------------------------|
|&