打造自己的大模型｜03篇使用llama.cpp量化并在Mac上私有部署ChatGPT

最新推荐文章于 2025-07-02 07:00:00 发布
最新推荐文章于 2025-07-02 07:00:00 发布
阅读量1.1k 收藏 15
点赞数 17
CC 4.0 BY-SA版权
文章标签： llama chatgpt prompt RAG 人工智能 产品经理 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Langchain/article/details/141438280

在之前的两篇文章中，我们利用LLaMA-Factory微调工具包，对Llama3模型，进行了中文语料适配的微调。并进行的微调大模型的评估和合并导出操作。

本篇文章，我们将对微调之后的大模型，进行量化处理，并在本地部署打造一个属于我们自己的ChatGPT。

认识GGUF格式

在之前的文章《本地部署中文Llama3并用弱智吧测试》中，我们知道Ollama可以运行GGUF导入的模型文件。

如何将我们训练的.safetensors格式文件转化为GGUF格式的文件，首先需要了解什么是GGUF格式文件。

大语言模型的开发通常使用PyTorch等框架，其预训练结果通常也会保存为相应的二进制格式，如pt后缀的文件通常就是PyTorch框架保存的二进制预训练结果。

我们在huggingface**上面看到很多.safetensors和.bin格式的模型文件，但我们在使用LM Studio，Ollama等客户端模型整合工具都会使用到GGUF格式的模型文件。

在这里插入图片描述

Georgi Gerganov（https://github.com/ggerganov） 是著名开源项目llama.cpp（https://github.com/ggerganov/llama.cpp） 的创始人，它最大的优势是可以在CPU上快速地进行推理而不需要 GPU。

创建llama.cpp后，作者将该项目中模型量化的部分提取出来做成了一个用于机器学习张量库：GGML（https://github.com/ggerganov/ggml） ，项目名称中的GG其实就是作者的名字首字母。它与其他张量库（tensor library）最大的不同，就是支持量化模型在CPU中执行推断。从而实现了低资源部署LLM。

而它生成的文件格式最初只存储了张量，这就是GGML工具，后来由于一些不足：

它无法有效地识别不同的模型架构，对超参数的添加和移除具有破坏性，这使得模型的迭代和升级变得复杂。

为此，在2023年8月份，Georgi Gerganov推出了GGUF作为后续的替代者，即：GGUF格式标准:

https://github.com/ggerganov/ggml/blob/master/docs/gguf.md

  • GGUF (GPT-Generated Unified Format) 是一种二进制模型文件格式，
  • 专为GGML及其执行器快速加载和保存模型而设计。
  • GGUF 是 GGML、GGMF 和 GGJT 的后继文件格式，通过包含加载模型所需的所有信息来确保明确性。
  • GGUF 被设计为可扩展的，以便可以在不破坏兼容性的情况下将新信息添加到模型中。

安装llama.cpp

在Mac M1芯片**的环境下，我们选择用homebrew安装。需要提前在Mac上安装好homebrew软件。

brew install llama.cpp

在这里插入图片描述

其他操作系统环境可以参考官方文档：https://github.com/ggerganov/llama.cpp/blob/master/README.md

利用llama.cpp转换成GGUF格式

参考文档：https://github.com/ggerganov/llama.cpp/blob/master/README.md#prepare-and-quantize

git clone --depth 1 https://github.com/ggerganov/llama.cpp.git

// 安装python依赖包
pip install -r requirements.txt

llama.cpp官方提供了转换脚本，可以将pt格式的预训练结果以及safetensors模型文件转换成GGUF格式的文件。

执行convert-hf-to-gguf.py文件，可以将model转化为GGUF格式：

python convert-hf-to-gguf.py models/mymodel/

在这里插入图片描述

在所在文件夹下，就会生成一个ggml-model-f16.gguf文件，当前模型权重参数的精度是f16。

在这里插入图片描述

将文件改名成xiaowu5759-llama3-chinese-f16.gguf。

量化模型并导入Ollama

量化模型，可以执行llama.cpp命令来进行量化：

# quantize the model to 4-bits (using Q4_K_M method)
./llama-quantize ./models/mymodel/ggml-model-f16.gguf ./models/mymodel/ggml-model-Q4_K_M.gguf Q4_K_M

同时也可以选择Ollama量化，Ollama导入GGUF格式文件，支持将f16.gguf模型文件在导入时候执行量化操作。

参考文档：Ollama导入模型 https://github.com/ollama/ollama/blob/main/docs/import.md

创建Modelfile文件：

FROM ./xiaowu5759-llama3-chinese-f16.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

执行命令：

ollama create -q Q4_0 xiaowu5759-llama3-chinese:8b

在这里插入图片描述

可以选择的量化等级有：

在这里插入图片描述

查看导入模型信息：

ollama show xiaowu5759-llama3-chinese:8b

在这里插入图片描述

导入完成，文件的大小占用了4.7GB。

open-webui进行对话测试

open-webui是一个为Ollama运行模型打造的WebUI页面。

多轮简单对话：

在这里插入图片描述

全程都是采用中文问答的形式，没有出现中英混答的现象。

编写代码能力测试：

在这里插入图片描述

至此，我们就完整的从数据准备，模型准备，微调训练，到模型评估测试，模型合并导出，到量化部署大模型，打造了一个完全属于我们自己的ChatGPT应用了。

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Langchain
关注
huggingface模型转为gguf格式（ollama可本地加载）
AndyChaoss的博客
05-22 491
将 Huggingface 格式的模型转换为 Ollama 支持的 GGUF 格式时，需确保输入路径正确（带中文或空格时加引号），输入为模型文件夹且包含完整权重和配置文件，执行命令示例为 python convert_hf_to_gguf.py --outfile ./model.gguf "模型路径"，并建议查看脚本帮助确认细节参数，以保证转换顺利
使用llama.cpp量化模型
zc1226的博客
07-13 2704
大模型量化是指在保持模型性能尽可能不变的情况下，通过减少模型参数的位数来降低模型的计算和存储成本。本次实验环境为魔搭社区提供的免费GPU环境（24G），使用Llama.cpp进行4bit量化可以大幅减少大语言模型的内存占用，并提高推理效率。Llama.cpp 是一个轻量级的C++库，旨在帮助用户在资源受限的环境中高效地运行大型语言模型。高效：通过优化的内存管理和计算，Llama.cpp能够在性能有限的硬件上高效运行大模型。
大模型本地部署神器：llama.cpp使用介绍
2401_85390073的博客
03-29 2000
本节主要介绍什么是llama.cpp，以及llama.cpp、llama、ollama的区别。同时说明一下GGUF这种模型文件格式。llama.cpp是一个由Georgi Gerganov开发的高性能C++库，主要目标是在各种硬件上（本地和云端）以最少的设置和最先进的性能实现大型语言模型推理。主要特点：纯C/C++实现，没有任何依赖对Apple Silicon（如M1/M2/M3芯片）提供一流支持 - 通过ARM NEON、Accelerate和Metal框架优化。
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署
积跬步，至千里。
05-24 7595
llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速度并减少内存使用。
开源大模型框架llama.cpp使用C++ api开发入门
踏莎行的博客
11-24 4409
是一个C++编写的轻量级开源类AIGC大模型框架，可以支持在消费级普通设备上本地部署运行大模型，以及作为依赖库集成的到应用程序中提供类GPT的功能。以下基于llama.cpp的源码利用C++ api来开发实例demo演示加载本地模型文件并提供GPT文本生成。
如何将SafeTensors模型转换为GGUF格式
热门推荐
qq_49035156的博客
10-20 1万+
在这篇文章中，我将指导你如何将Hugging Face的SafeTensors模型转换为GGUF格式，以便在ollama平台上运行。这个过程包括克隆llama.cpp仓库、设置Python环境、安装依赖包，以及执行转换脚本。
使用 llama.cpp 在本地部署 AI 大模型的一次尝试
素履独行 | 元培的个人博客
03-01 2350
2023年被誉为AIGC元年，随着技术浪潮，人们开始对人工智能的发展产生担忧。文章介绍了使用llama.cpp在本地部署AI大模型的过程，包括编译、量化和模型下载。通过对不同模型的体验，展示了其运行效果和评估。最后，将ChatGPT-Next-Web与llama.cpp结合，展示了本地部署AI大模型的潜力。整体讲述了私有化部署AI大模型的重要性和实践过程。
【DeepSeek实战】7、llama.cpp全攻略：无GPU服务器部署DeepSeek大模型实战（从量化到API服务）
最新发布
RickyIT的专栏
07-02 1758
本文详细介绍了如何利用llama.cpp框架在普通CPU服务器上高效部署DeepSeek等70亿参数级大模型。通过GGUF量化技术，可将模型内存占用降低70%以上（如7B模型从14GB压缩至6GB），实现8.2 tokens/s的推理速度。文章系统解析了llama.cpp的核心优势、量化原理（非均匀分组量化）与架构优化，并提供了从环境编译、模型下载到服务部署的全流程指南，包括多平台编译选项、国内镜像下载方案及关键参数配置，帮助开发者在无GPU环境下低成本落地大模型应用。
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp
mama19971023的博客
07-29 1005
vLLM是一个基于Python的LLM推理和服务框架，由伯克利大学LMSYS组织开源。它通过创新的PagedAttention技术、连续批处理、CUDA核心优化以及分布式推理支持，显著提高了LLM的推理性能。vLLM不仅简单易用，而且性能高效，广泛应用于各种NLP任务中。
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel
2402_84466582的博客
07-29 9919
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel
【Mac用户必看】Mac Mini完美运行LLaMA-Factory！手把手安装教程来了
DEVELOPERAA的博客
04-14 1853
想在你的 Mac Mini M4 上体验 LLaMA-Factory 的强大功能，进行大模型微调和训练吗？本篇文章为你准备了详细的环境配置教程，强烈建议使用 Conda 来管理你的 Python 环境，避免各种潜在的依赖冲突。跟着以下步骤，一步步搭建你的 LLaMA-Factory ！
必看！各系统用 llama.cpp 实现 safetensors 转 gguf 格式攻略
hxsyyds49的博客
03-11 2121
例如，在 llama.cpp 项目中，你可以使用相关的推理命令来加载转换后的 GGUF 模型进行测试。通过以上步骤，无论你使用的是 Windows、Mac 还是 Linux 系统，都能顺利地使用 llama.cpp 将 safetensor 格式转换为 gguf 格式，为模型的使用带来更多便利与优化。这里output.gguf是你自定义的转换后 GGUF 格式的文件名，你可以根据自己的需求修改。如果能正常得到模型的回答，说明转换成功，你现在就可以在相应系统中高效使用这个 GGUF 格式的模型啦。
在嵌入式处理器Jetson Orin上使用Whisper做语音内容识别（3）
qq_21046713的博客
11-23 2885
不同语言的whisper开发方式，或许能够在有限的资源上发挥更好的效果。
Ollama 导入自定义模型
偶尔记一下 - mybatis.io
04-03 8610
在前面 Spring AI 使用本地 Ollama Embeddings 中查找 Embedding 模型的时候，首先看到了 mofanke/dmeta-embedding-zh 模型，这才发现 Ollama 中除了官方模型外还有用户自己上传的其他模型，搜索 dmeta-embedding-zh 找到了抱脸网上的对应模型：https://huggingface.co/DMetaSoul/Dmeta-embedding-zh模型介绍有 MTEB Chinese list 评分排名，打开该地址可以看到排名：
将 Hugging Face（HF）模型转换为 GGUF（Guanaco General Universal Format）
沐雪架构师
03-28 498
将 Hugging Face（HF）模型转换为 GGUF（Guanaco General Universal Format）格式，通常需要借助llama.cpp工具。
hf下载的.bin模型转成gguf格式，导入ollama
qianchang_na的博客
02-13 798
hf下载模型发布到ollama
webassembly003 whisper.cpp的main项目-2:根据给定的模型文件和参数进行配置
ResumeProject的博客
01-27 923
【代码】webassembly003 whisper.cpp的main项目-2:根据给定的模型文件和参数进行配置。
给出用Local AI+llama.cpp+deepseek本地部署RAG的详细流程
02-26
<think>好的，我现在需要帮用户介绍如何在本地使用Local AI、llama.cpp和DeepSeek部署RAG的详细流程。首先，我需要确认自己对各个组件的理解是否正确。RAG是检索增强生成，结合了检索外部知识和生成模型的能力，对吧？Local AI可能是指本地运行的AI框架，llama.cpp是C++实现的LLM推理引擎，DeepSeek可能是一个特定的模型或者数据集？可能需要进一步确认。 用户的需求是详细的部署流程，所以需要分步骤说明。首先，可能需要环境准备，比如安装依赖、下载模型等。然后，RAG通常包括文档处理、向量数据库、检索和生成几个部分。我需要考虑如何整合这些组件。 首先，安装llama.cpp，需要从GitHub克隆仓库，编译，可能需要安装依赖如CMake、Python等。然后下载DeepSeek的模型，可能是Hugging Face格式，需要转换成gguf格式以便llama.cpp使用。转换步骤可能需要使用llama.cpp的python脚本。 接下来，处理用户文档，使用嵌入模型生成向量，建立向量数据库。这里可能需要用到Local AI提供的嵌入模型，或者Hugging Face的某个模型。然后，将查询时检索相关文档，输入到DeepSeek模型中生成答案。 需要详细说明每个步骤的具体操作，比如转换模型的命令、处理文档的代码示例、如何启动llama.cpp的API服务，以及如何集成检索和生成部分。可能还需要提到使用FAISS或Chroma作为向量数据库，以及如何将检索到的上下文传递给生成模型。 需要注意的是，用户可能对某些步骤不熟悉，比如模型转换、向量数据库的构建，所以需要给出具体的命令和代码示例。同时，要确保所有步骤在本地运行，不需要外部API，符合Local AI的要求。另外，DeepSeek模型的具体名称和下载位置可能需要确认，是否有现成的gguf版本，或者是否需要自己转换。 可能遇到的坑：模型转换时的参数设置，向量数据库的匹配问题，以及如何有效将检索结果整合到生成模型的输入中。需要提示用户可能需要的调整，比如上下文长度限制，或者检索top_k的设置。 总结下来，步骤大概是：环境准备→模型下载与转换→文档处理与向量数据库构建→RAG流程集成→测试与优化。每个步骤需要详细命令和代码，确保用户能一步步操作。</think>以下是在本地使用 **Local AI + llama.cpp + DeepSeek** 部署 RAG（Retrieval-Augmented Generation）的详细流程： --- ### **1. 环境准备** #### **1.1 安装依赖** ```bash # 基础依赖 sudo apt-get update && sudo apt-get install -y build-essential cmake python3-pip # Python 依赖 pip install numpy pandas sentence-transformers faiss-cpu langchain flask ``` #### **1.2 克隆 llama.cpp 仓库** ```bash git clone https://github.com/ggerganov/llama.cpp cd llama.cpp && make ``` --- ### **2. 模型准备** #### **2.1 下载 DeepSeek 模型** - 从 Hugging Face 下载模型（如 `deepseek-ai/deepseek-llm-7b-chat`）： ```bash git lfs install git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat ``` #### **2.2 转换模型为 GGUF 格式** ```bash # 安装转换依赖 pip install -r llama.cpp/requirements.txt # 转换 HF 模型到 GGUF python3 llama.cpp/convert-hf-to-gguf.py deepseek-llm-7b-chat --outfile deepseek-7b-chat.gguf # 量化（可选，减少内存占用） ./llama.cpp/quantize deepseek-7b-chat.gguf deepseek-7b-chat-Q4_K_M.gguf Q4_K_M ``` --- ### **3. 构建向量数据库** #### **3.1 准备本地文档** 将文本文件（如 PDF、TXT）存放在 `documents/` 目录下。 #### **3.2 生成文档向量** ```python from sentence_transformers import SentenceTransformer from langchain.vectorstores import FAISS # 加载嵌入模型（本地运行） embed_model = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2") # 读取文档并分块 documents = [...] # 从本地文件读取文本并分块 # 生成向量 doc_embeddings = embed_model.encode([doc.text for doc in documents]) # 构建向量数据库 vector_db = FAISS.from_embeddings(doc_embeddings, documents) vector_db.save_local("faiss_index") ``` --- ### **4. 部署 RAG 流程** #### **4.1 启动 llama.cpp 服务** ```bash ./llama.cpp/server -m deepseek-7b-chat-Q4_K_M.gguf --ctx-size 2048 --port 8000 ``` #### **4.2 实现 RAG 逻辑** ```python from flask import Flask, request, jsonify from sentence_transformers import SentenceTransformer from langchain.vectorstores import FAISS app = Flask(__name__) embed_model = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2") vector_db = FAISS.load_local("faiss_index", embed_model) @app.route("/ask", methods=["POST"]) def ask(): # 检索 query = request.json["query"] query_embed = embed_model.encode([query]) docs = vector_db.similarity_search_by_vector(query_embed[0], k=3) # 构造提示词 context = "\n".join([doc.text for doc in docs]) prompt = f"基于以下上下文回答问题：\n{context}\n\n问题：{query}\n回答：" # 调用本地模型生成 response = requests.post( "http://localhost:8000/completion", json={"prompt": prompt, "temperature": 0.7, "max_tokens": 512} ) return jsonify({"answer": response.json()["content"]}) if __name__ == "__main__": app.run(port=5000) ``` --- ### **5. 测试与优化** #### **5.1 发送查询请求** ```bash curl -X POST http://localhost:5000/ask -H "Content-Type: application/json" -d '{"query": "如何解释量子计算？"}' ``` #### **5.2 优化方向** - **性能优化**：调整 `k`（检索文档数量）和 `max_tokens`（生成长度）。 - **模型优化**：尝试不同量化版本的 DeepSeek 模型（如 Q5_K_M）。 - **检索优化**：使用更精确的嵌入模型（如 `bge-large-zh-v1.5`）。 --- ### **关键点说明** 1. **本地化运行**：所有组件（模型、向量数据库、服务）均在本地运行，无需网络。 2. **硬件要求**： - 7B 模型需至少 8GB 内存（量化后）。 - GPU 加速需编译 llama.cpp 时启用 CUDA。 3. **扩展性**：可替换为其他开源模型（如 Qwen、ChatGLM3）。 通过以上步骤，你可以在本地低成本实现一个基于私有数据的智能问答系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值