通过制作llama_cpp的docker镜像在内网离线部署运行大模型

最新推荐文章于 2025-05-22 21:43:10 发布
最新推荐文章于 2025-05-22 21:43:10 发布
阅读量2.8k 收藏 6
点赞数
CC 4.0 BY-SA版权
分类专栏： linux 大模型 文章标签： llama docker 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/springlustre/article/details/134452306

对于机器在内网，无法连接互联网的服务器来说，想要部署体验开源的大模型，需要拷贝各种依赖文件进行环境搭建难度较大，本文介绍如何通过制作docker镜像的方式，通过llama.cpp实现量化大模型的快速内网部署体验。

一、llama_cpp介绍

LLaMA 全称是Large Language Model Meta AI，是由Meta AI（原FacebookAI研究实验室）研究人员发布的一个预训练语言模型。该模型最大的特点就是基于以较小的参数规模取得了优秀的性能，模型参数量从7B到65B， 与其他大型语言模型一样，LLaMA的工作原理是将一连串的单词作为输入，并预测下一个单词，以递归地生成文本。

LLaMA.cpp 项目是开发者 Georgi Gerganov 基于 Meta 的 LLaMA 模型实现的纯 C/C++ 版本，用于模型推理。 无需任何额外依赖，相比 Python 代码对 PyTorch 等库的要求，C/C++ 直接编译出可执行文件，跳过不同硬件的繁杂准备，可以在笔记本上运行，大大降低了门槛。

项目开源地址：GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++

二、镜像制作过程

1、下载基础镜像

在dockerhub上下载对应的镜像版本，关注需要的cuda版本和操作系统版本。

docker pull nvidia/cuda:11.2.2-devel-ubuntu20.04

运行镜像

docker run -id --gpus all -v D:\download:/app/model -p 8080:8080&nbs

最低0.47元/天 解锁文章

200万优质内容无限畅学
Docker 使用 llama.cpp 在 OrangePi 5B 上运行 llama-2 模型
iCloudEnd的博客
04-14 227
在本文中，我们将逐步介绍如何让llama-2模型在基于 ARM 的廉价 SBC（例如 Orange PI）上运行。我们将利用llama.cpp ，这是Georgi Gerganov在各种硬件上以最少的设置运行 LLM 推理时所做的最令人惊叹的工作。注意：我在 Orange Pi 5B 上使用自编译的 Linux 内核。默认的 OrangePi Ubuntu Server Jammy 映像已预加载Docker ，但由于缺少内核模块，因此无法与Ceph FS 存储（具有 RWO 访问模式）一起使用。
Llama.cpp 服务器安装指南（使用 Docker，GPU 专用）
canduecho的专栏
02-27 1168
构建服务器镜像-t：命名镜像为。：仅构建服务器版本。-f：指定修改后的。：使用当前目录作为构建上下文。构建时间：10-20 分钟，取决于网络和机器性能。验证。
从零开始到基于docker容器和llama.cpp/llama-cpp-python部署大模型的简易教程
qq_41911158的博客
11-04 2947
llama.cpp是一个大模型推理平台，可以运行gguf格式的量化模型，并使用C++加速模型推理，使模型可以运行在小显存的gpu上，甚至可以直接纯cpu推理，token数量也可以达到四五十每秒（8核16线程，使用qwen2.5-1.5b模型），另外，该平台几乎兼容所有主流模型。本文介绍了如何使用docker部署llama.cpp和llama.cpp的python绑定llama-cpp-python
【一文了解】Llama.cpp
最新发布
05-22 198
它是一个高度模块化和可扩展的库，适合自然语言处理任务，涵盖从基础到高级的多种功能，满足不同场景需求，为我们搭建大模型应用提供了更为便利的工具。尽管它不支持训练，但在推理方面，它具备丰富的功能，支持模型加载、聊天、流式输出、上下文管理、量化、API 接口等，它是使用Meta系列模型一款不可缺少的工具。通过 `llama-server` 或社区项目，例如 `llama-cpp-python`，可以把 `llama.cpp` 部署为本地 API 服务。它是面向用户的 API 层，封装了对 ggml 的调用。
Docker下使用llama.cpp部署带Function calling和Json Mode功能的Mistral 7B模型
shizidushu的博客
08-27 2550
Docker下使用llama.cpp部署带Function calling和Json Mode功能的Mistral 7B模型
llama.cpp
AI工程化、开源分享、文档翻译、代码笔记
07-16 2010
一、关于 llama.cpp 支持的模型： **Multimodal models:** **Bindings:** **UI: ** **Tools:** 二、Demo 1、Typical run using LLaMA v2 13B on M2 Ultra 2、Demo of running both LLaMA-7B and whisper.cpp on a single M1 Pro MacBook 三、用法 1、基本用法 2、对话模式 3、网络服务 4、交互模式 5、持久互动 6、语法约束输出 四
docker安装llama-cpp-python加载gguf推理全过程
AI前沿技术的分享！
09-12 986
llama-cpp-python加载gguf推理全过程
利用docker一键部署LLaMa到自己的Linux服务器，有无GPU都行、可以指定GPU数量、支持界面对话和API调用，离线本地化部署包含模型权重合并
代码讲故事
02-22 1316
利用docker一键部署LLaMa到自己的Linux服务器，有无GPU都行、可以指定GPU数量、支持界面对话和API调用，离线本地化部署包含模型权重合并。两种方式实现支持界面对话和API调用，一是通过搭建text-generation-webui。二是通过llamma.cpp转换模型为转换为 GGUF 格式，使用 quantize 量化模型，使用 llama.cpp 运行 GGUF 模型。
docker离线部署多模态大模型
butiful1的博客
10-22 597
部署多模态大模型（图生文）
llama.cpp模型量化（本地） + ollama部署（docker）（超详细实况二）
Q2024107的博客
03-28 510
为此我们需要借助llama.cpp对模型文件进行量化，经由llama.cpp量化后的模型（以llama3.1-8b指令微调版为例）即使是在个人消费级显卡也能顺利运行。我这里是放入了ollama映射的本地文件夹内，也可以生成后手动剪切到您ollama设置的映射文件夹下，新建Modelfile.txt文件。llama.cpp是由C++编写的，因此为了在本地使用，首先我们需要下载VisualStudio，地址。中途会有大量的警告，只要没有出现红色报错一般是没有关系的，大概五分钟后完成编译。
【AI实战】llama.cpp 量化部署 llama-33B
Zack的博客
07-06 9880
llama.cpp 量化部署 llama-33B
使用llama.cpp进行量化和部署
Mooczx的博客
11-22 1058
1.将 safetensors 格式转成 gguf。2.将 gguf 格式进行（再）量化。
利用llama.cpp量化部署Llama-3-Chinese-8B-Instruct大模型
nlpstarter的博客
05-15 3851
利用llama.cpp量化部署Llama-3-Chinese-8B大模型
使用llama.cpp量化部署LLM
哦豁灬
05-05 4947
以llama.cpp工具为例，介绍模型量化并在本地部署的详细步骤。这里使用 Meta最新开源的 Llama3-8B 模型。
OpenAI 宣布将让人们无需注册账户即可免费使用 ChatGPT
程序员鑫港的博客
05-27 1235
自 2022 年底首次向公众推出以来，OpenAI 一直要求想要访问该聊天机器人的用户注册 OpenAI 账户。今天，该公司透露将向所有人免费开放 ChatGPT，无需创建账户。OpenAI表示，它将"逐步"推出这一新的访问权限，因此，根据您居住的地方，您可能仍需要先注册一个账户，然后才能向所有人提供这一改进。在开放之后，ChatGPT 打开就能用，看起来终于初步具备了「AI 搜索引擎」的样子。
利用docker一键部署LLaMa2到自己的Linux服务器支持视觉识别支持图文作答支持中文，有无GPU都行、可以指定GPU数量、支持界面对话和API调用，离线本地化部署包含模型权重合并
代码讲故事
02-23 2605
利用docker一键部署LLaMa2到自己的Linux服务器支持视觉识别支持图文作答支持中文，有无GPU都行、可以指定GPU数量、支持界面对话和API调用，离线本地化部署包含模型权重合并。两种方式实现支持界面对话和API调用，一是通过搭建text-generation-webui。二是通过llamma.cpp转换模型为转换为 GGUF 格式，使用 quantize 量化模型，使用 llama.cpp 运行 GGUF 模型。
掌握 llama.cpp 量化部署与 ollama 导入模型，轻松搞定模型部署难题！
Gblfy_Blog
03-02 1424
掌握 llama.cpp 量化部署与 ollama 导入模型，轻松搞定模型部署难题！
【AI大模型】llama.cpp模型量化（本地） + ollama部署（docker）（超详细实况二）
huang9604的博客
10-29 3175
【AI大模型】llama.cpp模型量化（本地） + ollama部署（docker）（超详细实况二）
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署
m0_65555479的博客
08-06 2337
llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速度并减少内存使用。
不用run指令，在官网直接下载大模型然后离线部署
03-18
<think>好的，我现在需要帮助用户解决如何在不使用`run`指令的情况下，从官网下载大模型并在本地进行离线部署的问题。首先，我需要理清楚用户的具体需求。用户提到的“不用run指令”可能指的是避免使用类似Docker中的`docker run`命令，或者某些部署工具中的`run`命令，直接通过手动步骤完成部署。接下来，我需要结合提供的引用资料，特别是引用[1]、[2]、[3]、[4]中的信息，来构建解决方案。 首先，用户需要从官网下载大模型。根据引用[1]和[4]，使用Ollama时可以通过创建Modelfile并指定本地模型路径，例如`FROM ./qwen1_5-0_5b-chat-q5_k_m.gguf`，这表明用户需要先手动下载模型的GGUF文件到本地。官网可能指的是Hugging Face或ModelScope，如引用[4]提到的，如果无法访问Hugging Face，可以转向ModelScope获取模型。 接下来是离线部署部分。引用[3]提到使用Docker部署时需要挂载存储卷，避免每次运行都拉取镜像。这可能与用户提到的“不用run指令”相关，用户可能希望直接使用现有镜像或本地文件，而不是通过`docker run`自动下载。不过用户的问题更偏向于如何手动下载模型并部署，而不是依赖运行命令自动处理。 然后考虑模型格式。引用[2]讨论了模型的量化与离线部署，说明需要将模型转换为GGUF等格式，并手动配置部署文件。这可能涉及使用量化工具，如llama.cpp或Ollama的Modelfile来加载模型。 步骤可能包括： 1. 手动下载模型文件：从官网或镜像站点获取GGUF格式的模型。 2. 准备部署环境：安装必要的依赖，如Ollama或Docker环境。 3. 配置文件：创建Modelfile（Ollama）或编写Dockerfile，指定本地模型路径。 4. 构建镜像或直接启动服务：使用`docker build`代替`docker run`，或者通过Ollama的命令加载本地模型。 需要注意的细节是，用户可能需要确保模型文件的路径正确，权限设置，以及依赖库的版本兼容性。例如，引用[3]提到的硬件和软件要求，如CPU指令集、内存大小等，需满足模型运行的条件。同时，引用[4]提到使用ModelScope作为替代来源，需要指导用户如何从那里下载模型。 最后，验证部署是否成功，可能需要运行推理测试，确保模型能正常加载和使用。整个过程需要避免使用自动拉取模型的命令，而是完全依赖本地文件，从而实现离线部署。</think>### 分步解答：大模型离线部署方法（无需`run`指令） #### 1. **手动下载大模型文件** - **官网/镜像站获取模型**： - **Hugging Face**：访问模型官方页面（如Qwen、DeepSeek等）的仓库，找到`.gguf`或`.bin`格式的模型文件[^1][^2]。 - **国内替代**：若无法访问Hugging Face，可使用**ModelScope**（阿里云平台）搜索并下载模型（例如Qwen的量化版本）[^4]。 - **示例命令**（以ModelScope为例）： ```bash git clone https://www.modelscope.cn/qwen/Qwen1.5-0.5B-Chat-GGUF.git ``` #### 2. **准备本地部署环境** - **安装基础工具**： - **Ollama**：用于加载GGUF格式模型，下载离线安装包（如Linux的`ollama-linux-amd64`）[^1][^4]。 - **Docker（可选）**：若需容器化部署，提前安装Docker并配置持久化存储卷[^3]。 - **依赖检查**： - 确保CPU支持AVX2指令集（通过`cat /proc/cpuinfo | grep avx2`验证）。 - 内存建议≥64GB，GPU需NVIDIA驱动+CUDA（若使用GPU加速）。 #### 3. **配置模型加载文件** - **创建Ollama Modelfile**： ```dockerfile FROM ./qwen1_5-0_5b-chat-q5_k_m.gguf # 指定本地模型路径 PARAMETER num_ctx 4096 # 自定义上下文长度 ``` - **Docker部署配置**（若需容器化）： - 编写`Dockerfile`，直接复制模型文件到镜像： ```dockerfile FROM pytorch/pytorch:2.0.1-cuda11.7 COPY qwen_model.gguf /app/model/ CMD ["python3", "inference_server.py"] ``` - 构建镜像（避免`docker run`自动拉取）： ```bash docker build -t local/qwen:latest . ``` #### 4. **启动离线服务** - **Ollama本地运行**： ```bash ollama create qwen-local -f Modelfile # 创建模型定义 ollama run qwen-local # 启动交互（此时仅使用本地文件） ``` - **Docker容器启动**： ```bash docker start -v /local/model:/app/model local/qwen # 挂载本地模型 ``` #### 5. **验证部署** - 发送测试请求（如通过CURL或Python客户端）： ```python import requests response = requests.post("http://localhost:11434/api/generate", json={ "model": "qwen-local", "prompt": "你好" }) print(response.text) ``` --- ### 关键配置对比表 | 方法 | 优势 | 注意事项 | |--------------|---------------------------|------------------------------| | **Ollama** | 轻量、支持GGUF格式直接加载 | 需手动管理Modelfile路径 | | **Docker** | 环境隔离、便于扩展 | 需提前构建镜像，存储空间较大 | | **裸机部署** | 无额外开销，性能最优 | 依赖本地环境兼容性[^2] | --- ### 常见问题解决 - **模型加载失败**： - 检查模型文件权限：`chmod +r qwen_model.gguf` - 确认GGUF文件完整性（对比SHA256哈希值） - **性能低下**： - 参考引用[3]调整CPU核心绑定或GPU分配 - 使用量化版本（如`q5_k_m`降低计算需求） ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值