通过制作llama_cpp的docker镜像在内网离线部署运行大模型

最新推荐文章于 2025-05-31 22:43:02 发布
最新推荐文章于 2025-05-31 22:43:02 发布
阅读量2.8k 收藏 6
点赞数
CC 4.0 BY-SA版权
分类专栏： linux 大模型 文章标签： llama docker 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/springlustre/article/details/134452306

对于机器在内网，无法连接互联网的服务器来说，想要部署体验开源的大模型，需要拷贝各种依赖文件进行环境搭建难度较大，本文介绍如何通过制作docker镜像的方式，通过llama.cpp实现量化大模型的快速内网部署体验。

一、llama_cpp介绍

LLaMA 全称是Large Language Model Meta AI，是由Meta AI（原FacebookAI研究实验室）研究人员发布的一个预训练语言模型。该模型最大的特点就是基于以较小的参数规模取得了优秀的性能，模型参数量从7B到65B， 与其他大型语言模型一样，LLaMA的工作原理是将一连串的单词作为输入，并预测下一个单词，以递归地生成文本。

LLaMA.cpp 项目是开发者 Georgi Gerganov 基于 Meta 的 LLaMA 模型实现的纯 C/C++ 版本，用于模型推理。 无需任何额外依赖，相比 Python 代码对 PyTorch 等库的要求，C/C++ 直接编译出可执行文件，跳过不同硬件的繁杂准备，可以在笔记本上运行，大大降低了门槛。

项目开源地址：GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++

二、镜像制作过程

1、下载基础镜像

在dockerhub上下载对应的镜像版本，关注需要的cuda版本和操作系统版本。

docker pull nvidia/cuda:11.2.2-devel-ubuntu20.04

运行镜像

docker run -id --gpus all -v D:\download:/app/model -p 8080:8080&nbs

最低0.47元/天 解锁文章

200万优质内容无限畅学
Llama.cpp 服务器安装指南（使用 Docker，GPU 专用）
canduecho的专栏
02-27 1183
构建服务器镜像-t：命名镜像为。：仅构建服务器版本。-f：指定修改后的。：使用当前目录作为构建上下文。构建时间：10-20 分钟，取决于网络和机器性能。验证。
Docker 使用 llama.cpp 在 OrangePi 5B 上运行 llama-2 模型
iCloudEnd的博客
04-14 227
在本文中，我们将逐步介绍如何让llama-2模型在基于 ARM 的廉价 SBC（例如 Orange PI）上运行。我们将利用llama.cpp ，这是Georgi Gerganov在各种硬件上以最少的设置运行 LLM 推理时所做的最令人惊叹的工作。注意：我在 Orange Pi 5B 上使用自编译的 Linux 内核。默认的 OrangePi Ubuntu Server Jammy 映像已预加载Docker ，但由于缺少内核模块，因此无法与Ceph FS 存储（具有 RWO 访问模式）一起使用。
什么是llama.cpp
最新发布
ms44的专栏
05-31 995
llama.cpp是一个高效轻量的C/C++框架，用于在普通硬件上运行大型语言模型。它支持多种量化技术(1.5-8位)和硬件加速(CPU/GPU)，特别优化了Apple Silicon性能。核心特性包括GGUF模型格式、多模态支持、128k长上下文处理，以及Metal/CUDA/Vulkan后端。相比HuggingFace等框架，它更轻量、低内存，适合本地部署，但配置要求较高。该项目持续演进，已支持多GPU并行、滑动窗口注意力等先进功能。
从零开始到基于docker容器和llama.cpp/llama-cpp-python部署大模型的简易教程
qq_41911158的博客
11-04 2962
llama.cpp是一个大模型推理平台，可以运行gguf格式的量化模型，并使用C++加速模型推理，使模型可以运行在小显存的gpu上，甚至可以直接纯cpu推理，token数量也可以达到四五十每秒（8核16线程，使用qwen2.5-1.5b模型），另外，该平台几乎兼容所有主流模型。本文介绍了如何使用docker部署llama.cpp和llama.cpp的python绑定llama-cpp-python
Docker下使用llama.cpp部署带Function calling和Json Mode功能的Mistral 7B模型
shizidushu的博客
08-27 2551
Docker下使用llama.cpp部署带Function calling和Json Mode功能的Mistral 7B模型
llama.cpp
AI工程化、开源分享、文档翻译、代码笔记
07-16 2013
一、关于 llama.cpp 支持的模型： **Multimodal models:** **Bindings:** **UI: ** **Tools:** 二、Demo 1、Typical run using LLaMA v2 13B on M2 Ultra 2、Demo of running both LLaMA-7B and whisper.cpp on a single M1 Pro MacBook 三、用法 1、基本用法 2、对话模式 3、网络服务 4、交互模式 5、持久互动 6、语法约束输出 四
docker离线部署多模态大模型
butiful1的博客
10-22 599
部署多模态大模型（图生文）
docker安装llama-cpp-python加载gguf推理全过程
AI前沿技术的分享！
09-12 989
llama-cpp-python加载gguf推理全过程
利用docker一键部署LLaMa到自己的Linux服务器，有无GPU都行、可以指定GPU数量、支持界面对话和API调用，离线本地化部署包含模型权重合并
代码讲故事
02-22 1316
利用docker一键部署LLaMa到自己的Linux服务器，有无GPU都行、可以指定GPU数量、支持界面对话和API调用，离线本地化部署包含模型权重合并。两种方式实现支持界面对话和API调用，一是通过搭建text-generation-webui。二是通过llamma.cpp转换模型为转换为 GGUF 格式，使用 quantize 量化模型，使用 llama.cpp 运行 GGUF 模型。
llama.cpp模型量化（本地） + ollama部署（docker）（超详细实况二）
Q2024107的博客
03-28 511
为此我们需要借助llama.cpp对模型文件进行量化，经由llama.cpp量化后的模型（以llama3.1-8b指令微调版为例）即使是在个人消费级显卡也能顺利运行。我这里是放入了ollama映射的本地文件夹内，也可以生成后手动剪切到您ollama设置的映射文件夹下，新建Modelfile.txt文件。llama.cpp是由C++编写的，因此为了在本地使用，首先我们需要下载VisualStudio，地址。中途会有大量的警告，只要没有出现红色报错一般是没有关系的，大概五分钟后完成编译。
【AI实战】llama.cpp 量化部署 llama-33B
Zack的博客
07-06 9881
llama.cpp 量化部署 llama-33B
使用llama.cpp进行量化和部署
Mooczx的博客
11-22 1059
1.将 safetensors 格式转成 gguf。2.将 gguf 格式进行（再）量化。
利用llama.cpp量化部署Llama-3-Chinese-8B-Instruct大模型
nlpstarter的博客
05-15 3854
利用llama.cpp量化部署Llama-3-Chinese-8B大模型
使用llama.cpp量化部署LLM
哦豁灬
05-05 4978
以llama.cpp工具为例，介绍模型量化并在本地部署的详细步骤。这里使用 Meta最新开源的 Llama3-8B 模型。
OpenAI 宣布将让人们无需注册账户即可免费使用 ChatGPT
程序员鑫港的博客
05-27 1235
自 2022 年底首次向公众推出以来，OpenAI 一直要求想要访问该聊天机器人的用户注册 OpenAI 账户。今天，该公司透露将向所有人免费开放 ChatGPT，无需创建账户。OpenAI表示，它将"逐步"推出这一新的访问权限，因此，根据您居住的地方，您可能仍需要先注册一个账户，然后才能向所有人提供这一改进。在开放之后，ChatGPT 打开就能用，看起来终于初步具备了「AI 搜索引擎」的样子。
利用docker一键部署LLaMa2到自己的Linux服务器支持视觉识别支持图文作答支持中文，有无GPU都行、可以指定GPU数量、支持界面对话和API调用，离线本地化部署包含模型权重合并
代码讲故事
02-23 2606
利用docker一键部署LLaMa2到自己的Linux服务器支持视觉识别支持图文作答支持中文，有无GPU都行、可以指定GPU数量、支持界面对话和API调用，离线本地化部署包含模型权重合并。两种方式实现支持界面对话和API调用，一是通过搭建text-generation-webui。二是通过llamma.cpp转换模型为转换为 GGUF 格式，使用 quantize 量化模型，使用 llama.cpp 运行 GGUF 模型。
掌握 llama.cpp 量化部署与 ollama 导入模型，轻松搞定模型部署难题！
Gblfy_Blog
03-02 1433
掌握 llama.cpp 量化部署与 ollama 导入模型，轻松搞定模型部署难题！
【AI大模型】llama.cpp模型量化（本地） + ollama部署（docker）（超详细实况二）
huang9604的博客
10-29 3182
【AI大模型】llama.cpp模型量化（本地） + ollama部署（docker）（超详细实况二）
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署
m0_65555479的博客
08-06 2345
llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速度并减少内存使用。
不用run指令，在官网直接下载大模型然后离线部署
03-18
<think>好的，我现在需要帮助用户解决如何在不使用`run`指令的情况下，从官网下载大模型并在本地进行离线部署的问题。首先，我需要理清楚用户的具体需求。用户提到的“不用run指令”可能指的是避免使用类似Docker中的`docker run`命令，或者某些部署工具中的`run`命令，直接通过手动步骤完成部署。接下来，我需要结合提供的引用资料，特别是引用[1]、[2]、[3]、[4]中的信息，来构建解决方案。 首先，用户需要从官网下载大模型。根据引用[1]和[4]，使用Ollama时可以通过创建Modelfile并指定本地模型路径，例如`FROM ./qwen1_5-0_5b-chat-q5_k_m.gguf`，这表明用户需要先手动下载模型的GGUF文件到本地。官网可能指的是Hugging Face或ModelScope，如引用[4]提到的，如果无法访问Hugging Face，可以转向ModelScope获取模型。 接下来是离线部署部分。引用[3]提到使用Docker部署时需要挂载存储卷，避免每次运行都拉取镜像。这可能与用户提到的“不用run指令”相关，用户可能希望直接使用现有镜像或本地文件，而不是通过`docker run`自动下载。不过用户的问题更偏向于如何手动下载模型并部署，而不是依赖运行命令自动处理。 然后考虑模型格式。引用[2]讨论了模型的量化与离线部署，说明需要将模型转换为GGUF等格式，并手动配置部署文件。这可能涉及使用量化工具，如llama.cpp或Ollama的Modelfile来加载模型。 步骤可能包括： 1. 手动下载模型文件：从官网或镜像站点获取GGUF格式的模型。 2. 准备部署环境：安装必要的依赖，如Ollama或Docker环境。 3. 配置文件：创建Modelfile（Ollama）或编写Dockerfile，指定本地模型路径。 4. 构建镜像或直接启动服务：使用`docker build`代替`docker run`，或者通过Ollama的命令加载本地模型。 需要注意的细节是，用户可能需要确保模型文件的路径正确，权限设置，以及依赖库的版本兼容性。例如，引用[3]提到的硬件和软件要求，如CPU指令集、内存大小等，需满足模型运行的条件。同时，引用[4]提到使用ModelScope作为替代来源，需要指导用户如何从那里下载模型。 最后，验证部署是否成功，可能需要运行推理测试，确保模型能正常加载和使用。整个过程需要避免使用自动拉取模型的命令，而是完全依赖本地文件，从而实现离线部署。</think>### 分步解答：大模型离线部署方法（无需`run`指令） #### 1. **手动下载大模型文件** - **官网/镜像站获取模型**： - **Hugging Face**：访问模型官方页面（如Qwen、DeepSeek等）的仓库，找到`.gguf`或`.bin`格式的模型文件[^1][^2]。 - **国内替代**：若无法访问Hugging Face，可使用**ModelScope**（阿里云平台）搜索并下载模型（例如Qwen的量化版本）[^4]。 - **示例命令**（以ModelScope为例）： ```bash git clone https://www.modelscope.cn/qwen/Qwen1.5-0.5B-Chat-GGUF.git ``` #### 2. **准备本地部署环境** - **安装基础工具**： - **Ollama**：用于加载GGUF格式模型，下载离线安装包（如Linux的`ollama-linux-amd64`）[^1][^4]。 - **Docker（可选）**：若需容器化部署，提前安装Docker并配置持久化存储卷[^3]。 - **依赖检查**： - 确保CPU支持AVX2指令集（通过`cat /proc/cpuinfo | grep avx2`验证）。 - 内存建议≥64GB，GPU需NVIDIA驱动+CUDA（若使用GPU加速）。 #### 3. **配置模型加载文件** - **创建Ollama Modelfile**： ```dockerfile FROM ./qwen1_5-0_5b-chat-q5_k_m.gguf # 指定本地模型路径 PARAMETER num_ctx 4096 # 自定义上下文长度 ``` - **Docker部署配置**（若需容器化）： - 编写`Dockerfile`，直接复制模型文件到镜像： ```dockerfile FROM pytorch/pytorch:2.0.1-cuda11.7 COPY qwen_model.gguf /app/model/ CMD ["python3", "inference_server.py"] ``` - 构建镜像（避免`docker run`自动拉取）： ```bash docker build -t local/qwen:latest . ``` #### 4. **启动离线服务** - **Ollama本地运行**： ```bash ollama create qwen-local -f Modelfile # 创建模型定义 ollama run qwen-local # 启动交互（此时仅使用本地文件） ``` - **Docker容器启动**： ```bash docker start -v /local/model:/app/model local/qwen # 挂载本地模型 ``` #### 5. **验证部署** - 发送测试请求（如通过CURL或Python客户端）： ```python import requests response = requests.post("http://localhost:11434/api/generate", json={ "model": "qwen-local", "prompt": "你好" }) print(response.text) ``` --- ### 关键配置对比表 | 方法 | 优势 | 注意事项 | |--------------|---------------------------|------------------------------| | **Ollama** | 轻量、支持GGUF格式直接加载 | 需手动管理Modelfile路径 | | **Docker** | 环境隔离、便于扩展 | 需提前构建镜像，存储空间较大 | | **裸机部署** | 无额外开销，性能最优 | 依赖本地环境兼容性[^2] | --- ### 常见问题解决 - **模型加载失败**： - 检查模型文件权限：`chmod +r qwen_model.gguf` - 确认GGUF文件完整性（对比SHA256哈希值） - **性能低下**： - 参考引用[3]调整CPU核心绑定或GPU分配 - 使用量化版本（如`q5_k_m`降低计算需求） ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值