打造自己的大模型|03篇 使用llama.cpp量化并在Mac上私有部署ChatGPT

如何将SafeTensors模型转换为GGUF格式 在这篇文章中,我将指导你如何将Hugging Face的SafeTensors模型转换为GGUF格式,以便在ollama平台上运行。这个过程包括克隆llama.cpp仓库、设置Python环境、安装依赖包,以及执行转换脚本。 阅读详情

在之前的两篇文章中,我们利用LLaMA-Factory微调工具包,对Llama3模型,进行了中文语料适配的微调。并进行的微调大模型的评估和合并导出操作。

本篇文章,我们将对微调之后的大模型,进行量化处理,并在本地部署打造一个属于我们自己的ChatGPT。

认识GGUF格式

在之前的文章《本地部署中文Llama3并用弱智吧测试》中,我们知道Ollama可以运行GGUF导入的模型文件。

如何将我们训练的.safetensors格式文件转化为GGUF格式的文件,首先需要了解什么是GGUF格式文件。

大语言模型的开发通常使用PyTorch等框架,其预训练结果通常也会保存为相应的二进制格式,如pt后缀的文件通常就是PyTorch框架保存的二进制预训练结果。

我们在huggingface**上面看到很多.safetensors和.bin格式的模型文件,但我们在使用LM Studio,Ollama等客户端模型整合工具都会使用到GGUF格式的模型文件。

Georgi Gerganov(https://github.com/ggerganov) 是著名开源项目llama.cpp(https://github.com/ggerganov/llama.cpp) 的创始人,它最大的优势是可以在CPU上快速地进行推理而不需要 GPU。

创建llama.cpp后,作者将该项目中模型量化的部分提取出来做成了一个用于机器学习张量库:GGML(https://github.com/ggerganov/ggml) ,项目名称中的GG其实就是作者的名字首字母。它与其他张量库(tensor library)最大的不同,就是支持量化模型在CPU中执行推断。从而实现了低资源部署LLM。

而它生成的文件格式最初只存储了张量,这就是GGML工具,后来由于一些不足:

它无法有效地识别不同的模型架构,对超参数的添加和移除具有破坏性,这使得模型的迭代和升级变得复杂。

为此,在2023年8月份,Georgi Gerganov推出了GGUF作为后续的替代者,即:GGUF格式标准:

https://github.com/ggerganov/ggml/blob/master/docs/gguf.md

  • GGUF (GPT-Generated Unified Format) 是一种二进制模型文件格式,
  • 专为GGML及其执行器快速加载和保存模型而设计。
  • GGUF 是 GGML、GGMF 和 GGJT 的后继文件格式,通过包含加载模型所需的所有信息来确保明确性。
  • GGUF 被设计为可扩展的,以便可以在不破坏兼容性的情况下将新信息添加到模型中。
安装llama.cpp

在Mac M1芯片**的环境下,我们选择用homebrew安装。需要提前在Mac上安装好homebrew软件。

brew install llama.cpp

其他操作系统环境可以参考官方文档:https://github.com/ggerganov/llama.cpp/blob/master/README.md

利用llama.cpp转换成GGUF格式

参考文档:https://github.com/ggerganov/llama.cpp/blob/master/README.md#prepare-and-quantize

git clone --depth 1 https://github.com/ggerganov/llama.cpp.git

// 安装python依赖包
pip install -r requirements.txt

llama.cpp官方提供了转换脚本,可以将pt格式的预训练结果以及safetensors模型文件转换成GGUF格式的文件。

执行convert-hf-to-gguf.py文件,可以将model转化为GGUF格式:

python convert-hf-to-gguf.py models/mymodel/

在所在文件夹下,就会生成一个ggml-model-f16.gguf文件,当前模型权重参数的精度是f16。

将文件改名成xiaowu5759-llama3-chinese-f16.gguf。

量化模型并导入Ollama

量化模型,可以执行llama.cpp命令来进行量化:

# quantize the model to 4-bits (using Q4_K_M method)
./llama-quantize ./models/mymodel/ggml-model-f16.gguf ./models/mymodel/ggml-model-Q4_K_M.gguf Q4_K_M

同时也可以选择Ollama量化,Ollama导入GGUF格式文件,支持将f16.gguf模型文件在导入时候执行量化操作。

参考文档:Ollama导入模型 https://github.com/ollama/ollama/blob/main/docs/import.md

创建Modelfile文件:

FROM ./xiaowu5759-llama3-chinese-f16.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

执行命令:

ollama create -q Q4_0 xiaowu5759-llama3-chinese:8b

可以选择的量化等级有:

查看导入模型信息:

ollama show xiaowu5759-llama3-chinese:8b

导入完成,文件的大小占用了4.7GB。

open-webui进行对话测试

open-webui是一个为Ollama运行模型打造的WebUI页面。

多轮简单对话:

全程都是采用中文问答的形式,没有出现中英混答的现象。

编写代码能力测试:

至此,我们就完整的从数据准备,模型准备,微调训练,到模型评估测试,模型合并导出,到量化部署大模型,打造了一个完全属于我们自己的ChatGPT应用了。

想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?别再浪费时间啦!2026 年 AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享!

👇👇扫码免费领取全部内容👇👇

​

一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI:

1. 100+本大模型方向电子书

在这里插入图片描述

2. 26 份行业研究报告:覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:

  • 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
  • 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
  • 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
  • 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT:听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:

在这里插入图片描述

  • 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
  • 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
  • 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
  • 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!

1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析:

2. 102 道 AI 大模型真题:直击大模型核心考点

针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:

3. 97 道 LLMs 真题:聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:


三、路线必明: AI 大模型学习路线图,1 张图理清核心内容

刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!

在这里插入图片描述

路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。

img

L1阶段:启航篇丨极速破界AI新时代

L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

img

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

img

L5阶段:专题集丨特训篇 【录播课】

img
四、资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇

​

2026 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!

Mac本地AI实战指南:Ollama+Llama.cpp+MLX全栈部署 本地大模型推理是指在终端设备(如Mac)上直接运行语言模型,无需依赖云端API。其核心原理基于硬件加速(Apple Silicon统一内存与Metal API)、轻量级推理引擎(Llama.cpp的GGUF量化加载、MLX对神经引擎的深度优化)及服务化封装(Ollama提供OpenAI兼容API)。该技术显著提升响应速度、保障数据隐私、降低使用成本,已广泛应用于代码补全、多模态内容生成、学术研究辅助等场景。本文聚焦Mac平台,详解如何利用Ollama调度、Llama.cpp/MLX执行、ComfyUI/LM 阅读详情

相关推荐

llama.cpp与Ollama实战指南:GGUF模型本地部署全解析

大模型推理框架是AI落地的关键基础设施,其核心在于将训练完成的模型高效、稳定、可控地运行在边缘或本地设备上。llama.cpp作为轻量级C/C++实现的模型解释器,通过GGUF格式实现跨平台、低开销、高确定性的前向计算;Ollama则在其之上构建了模型分发、运行时管理与配置即代码(Modelfile)等部署能力,显著降低工程门槛。二者协同解决了Windows与Linux环境下CUDA编译失败、国内镜像下载缓慢、量化格式不兼容、GPU加速失效等高频痛点,广泛应用于笔记本、台式机及嵌入式设备的私有化AI服务搭建

aibiba0894的博客 886

使用llama.cpp量化模型

大模型量化是指在保持模型性能尽可能不变的情况下,通过减少模型参数的位数来降低模型的计算和存储成本。本次实验环境为魔搭社区提供的免费GPU环境(24G),使用Llama.cpp进行4bit量化可以大幅减少大语言模型的内存占用,并提高推理效率。Llama.cpp 是一个轻量级的C++库,旨在帮助用户在资源受限的环境中高效地运行大型语言模型。高效:通过优化的内存管理和计算,Llama.cpp能够在性能有限的硬件上高效运行大模型。

zc1226的博客 3406

Code Llama开源代码大模型:本地部署与VS Code深度集成实战

代码大模型正从云端玩具走向本地化生产工具。其核心原理是基于海量真实代码(如500B token)对语法树、内存生命周期与异常传播路径的深层建模,从而在确定性、可控性与可审计性上突破传统AI编程的幻觉瓶颈。技术价值在于将开发者从环境配置、八股面试、入门断层三大痛点中解放,回归问题定义与架构权衡等高阶能力。典型应用场景包括VS Code实时补全、Java面试题逻辑图解、C++编译错误根因诊断及Python单元测试自动生成——尤其适配‘vscode配置c/c++环境’和‘java面试题’等高频搜索需求,真正实现开

dfdfadsf3443的博客 530

如何用hugging face hub一键下载模型并将模型转换为gguf格式(支持自定义量化)

量化就是减少模型所占内存的大小,量化位数越少,模型占有内存越小,但相对可能模型表现会更差,所以建议在模型过大的时候可以适当采用。进入本地【E:\llamaapp\llama.cpp】文件夹(llama.cpp文件夹),在当前环境下将【llama】我尝试了采用convert.py文件失败,所以采用convert-hf-to-gguf.py,成功。下载完成的话,缓存【modelcache】里面选中的文件就可以删除了(所有文件都可以删除)好的,能看到这里的小伙伴都是大牛了,我也是花了好长时间才跑成功的。

2301_78453609的博客 1万+

从ChatGPT到AIGC实战:核心原理、应用场景与私有化部署指南

人工智能生成内容(AIGC)是当前人工智能领域的前沿技术,其核心原理基于深度学习中的生成式模型,如生成对抗网络(GAN)、变分自编码器(VAE)和扩散模型。与传统的判别式模型不同,生成式模型通过学习数据分布来创造新的内容样本,这赋予了机器前所未有的内容创造能力。这项技术的核心价值在于,它能将海量数据转化为高质量、多样化的文本、图像、音频和视频等内容,极大地提升了内容生产的效率并降低了门槛。在应用场景上,AIGC已广泛应用于内容创作、代码生成、智能对话、设计辅助和个性化学习等多个领域,成为企业和个人提升生产力

weixin_30764883的博客 829

开源大模型本地部署实战:从Llama 3到生产级API服务

大语言模型(LLM)作为当前人工智能的核心技术,其部署方式直接关系到应用的性能、成本与可控性。从技术原理上看,LLM通过海量参数实现复杂的语言理解和生成,而部署方式则决定了其在实际工程中的可用性。开源模型的价值在于提供了从模型权重到推理框架的完整技术栈,使开发者能够实现私有化部署,从而在数据安全、成本控制和深度定制方面获得优势。在应用场景上,对于金融、医疗等敏感行业,以及需要高频调用和定制化需求的业务,开源模型的本地部署成为关键技术选择。本文以Meta Llama 3为例,结合**Ollama**和**ll

weixin_34408624的博客 393

打造自己的大模型|03篇使用llama.cpp量化并在Mac上私有部署ChatGPT

在之前的两篇文章中,我们利用LLaMA-Factory微调工具包,对Llama3模型,进行了中文语料适配的微调。并进行的微调大模型的评估和合并导出操作。本篇文章,我们将对微调之后的大模型,进行量化处理,并在本地部署打造一个属于我们自己的ChatGPT。

Langchain的博客 1559

Mac本地部署AI大模型:Ollama实战指南与集成应用

大型语言模型(LLM)作为人工智能的核心技术,通过海量数据训练获得强大的语言理解和生成能力。其原理基于Transformer架构,通过自注意力机制处理序列数据,实现上下文感知的预测。这项技术的价值在于能够将通用AI能力本地化部署,保障数据隐私并实现离线可用。在应用场景上,本地化模型特别适合需要数据安全、定制化需求以及网络不稳定环境下的智能助手、代码生成和知识问答等任务。借助Ollama这一针对Apple Silicon芯片优化的轻量级框架,开发者可以轻松在Mac上部署如Llama等开源模型,并通过OpenA

civtsbiqr522632413的博客 521

从零打造自己的大模型|03篇使用llama.cpp量化并在Mac上私有部署ChatGPT

本篇文章,我们将对微调之后的大模型,进行量化处理,并在本地部署打造一个属于我们自己的ChatGPT。

huang9604的博客 720

本地AI助手部署指南:从Llama模型到RAG应用实战

大语言模型(LLM)作为人工智能的核心技术,通过海量数据训练获得理解和生成自然语言的能力。其工作原理基于Transformer架构,通过自注意力机制捕捉文本中的长距离依赖关系。这项技术的价值在于能够将通用智能封装为可调用的服务,极大提升了人机交互的效率和自然度。在应用场景上,LLM不仅可用于智能对话,更能通过检索增强生成(RAG)技术处理本地文档,实现私有知识库的智能问答。本文以构建本地AI助手为例,详细介绍了如何利用Llama.cpp等开源工具实现模型的量化部署,并结合向量数据库构建完整的RAG应用,让开

tang_zongyun的博客 511

Llama 3本地CPU推理实战:从下载量化到嵌入终端工作流

大语言模型(LLM)本地化部署正成为开发者核心能力,其本质是将模型推理从云端API迁移至终端设备,依托CPU指令集优化与量化压缩技术实现低延迟、高可用的离线运行。关键技术路径包括GGUF格式转换、4-bit分组量化(如Q4_K_M)、llama.cpp轻量推理引擎调用,以及系统级资源管控(内存预留、温度限频、线程调度)。该方案显著降低使用门槛——无需GPU、不依赖CUDA,仅需16GB内存+现代CPU即可支撑8B参数模型稳定运行,在代码生成、文档理解、Git自动化等真实开发场景中达成秒级响应。本文聚焦Lla

diejiankuai3444的博客 589

从微调到部署:使用LLaMA-Factory与Ollama打造私有化大模型服务

模型微调是机器学习领域的关键技术,它通过在预训练大模型基础上使用特定领域数据进行额外训练,使模型适应特定任务,从而解决通用模型在专业场景下表现不佳的问题。其核心原理是利用参数高效微调方法,在保留模型通用知识的同时注入领域专长。这项技术的价值在于能够以较低成本将强大的基础模型转化为垂直领域的专用工具,极大地提升了AI应用的精准度和实用性。在工程实践中,完整的微调工作流包括数据准备、训练执行、格式转换和最终部署。应用场景广泛覆盖了智能客服、技术问答、内容生成等需要私有化、定制化AI能力的领域。本文聚焦于LLaM

weixin_30856725的博客 626

ollama如何导入自己的模型(轻松搞定)

快速在ollama启动自己的模型

Ven%的博客 1685

Mac Studio部署120B大模型实战:功耗测试与VS Code集成指南

大语言模型(LLM)的本地部署已成为开发者关注的热点,其核心价值在于实现数据隐私保护与低延迟推理。通过量化技术(如GGUF格式)可大幅降低模型对硬件资源的需求,使在消费级硬件上运行百亿参数模型成为可能。在工程实践中,本地部署的关键在于平衡模型性能与硬件限制,特别是在功耗、散热和内存管理方面。以苹果Mac Studio(M2 Ultra芯片)为例,其统一内存架构为部署120B参数模型提供了硬件基础,但实际运行中需重点关注风扇噪音、发热控制与生成速度等实用指标。通过llama.cpp推理引擎与VS Code插件

aodiyi6351的博客 397

llama.cpp Mac版本llama

骆驼.cpp纯C/C++中模型的推理持 64 的超级块大小目录描述主要目标llama.cpp是在 MacBook 上使用 4 位整数量化运行 LLaMA 模型ARM NEONF16/F32精度最初的实现llama.cpp了。从那时起,由于许多贡献,该项目有了显着改进。该项目用于教育目的,并作为开发库新功能的主要平台。以下是使用 LLaMA-7B 的典型运行:7n512I llama.cppIUNAME_S: DarwinI。

具身机器人和通用AI 2115

CIFAR-100模型性能对比:Top1与Top5错误率深度解析

本文深度解析了CIFAR-100数据集上Top1与Top5错误率的核心意义与差异。通过对比MobileNet、ResNet、DenseNet等主流模型的性能数据,揭示了模型架构、训练策略及数据集特性如何共同影响这两个关键指标,并为不同应用场景下的模型选择提供了实战指南。

weixin_28224217的博客 339

Llama.cpp:纯C++轻量级LLM推理库实战指南

大语言模型(LLM)本地推理正从GPU密集型服务转向CPU友好型轻量化方案。Llama.cpp作为典型代表,以纯C++实现、GGUF格式支持和多级量化(如Q4_K_M)为核心,兼顾推理速度、内存效率与跨平台兼容性。其设计摒弃Python运行时开销,通过手动内存管理、指令集加速(AVX2/NEON/Metal)和算子融合,在消费级设备上实现稳定token生成。技术价值在于降低AI工程门槛——无需CUDA、不依赖Docker,单文件即可部署。典型应用场景包括离线知识库RAG、嵌入式AI助手、Obsidian等桌

diandingyin9417的博客 405

ABAP GIT 作用介绍

总结起来,ABAPGit 是一个强大的工具,它通过将 SAP ABAP 项目与 Git 版本控制系统集成,大大提高了代码管理的效率和团队协作的质量。在 ABAPGit 出现之前,ABAP 代码的版本控制和团队之间的协作主要依赖于手工操作或者是 SAP 自带的版本控制工具,这些方式效率低下,且难以实现高效的代码管理。使用 ABAPGit,SAP 项目团队不仅可以提高代码管理的效率和质量,还可以通过 Git 的强大功能实现高效的团队协作和代码审查。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 839

从零到一:手把手打通大模型预训练、微调、量化与移动端部署全流程

大语言模型(LLM)已成为人工智能领域的核心技术,其构建通常遵循从预训练到应用部署的完整流程。预训练阶段,模型在海量无标注文本上学习通用语言表示和世界知识,形成基础模型。随后,通过监督微调(SFT)技术,模型被教会理解和遵循人类指令,成为可交互的助手。为了将模型部署到资源受限的设备(如手机),模型量化技术至关重要,它通过降低参数精度(如从FP16到INT4)来大幅压缩模型体积和计算需求,是实现边缘计算和移动端AI应用的关键。本文聚焦于如何将SFT微调与模型量化等技术环节无缝衔接,构建一个从云端训练到手机端部

weixin_30417487的博客 351

路由三大分类:直连路由、静态路由、动态路由

直连路由、静态路由和动态路由各有其独特的特点和适用场景。直连路由适用于简单的直接连接网络,静态路由提供了精确的路径控制,而动态路由则在大型复杂网络中展现出强大的适应性和自动化能力。了解和掌握这三种路由类型的配置和管理,对于网络管理员来说,是确保网络高效、安全运行的重要技能。

网络技术联盟站 4698

国科大学习资料--数据挖掘(刘莹)--第三章习题及参考答案

国科大学习资料–数据挖掘(刘莹)–第三章习题及参考答案 国科大学习资料–数据挖掘(刘莹)–第三章习题及参考答案 国科大学习资料–数据挖掘(刘莹)–第三章习题及参考答案 第 3 章分类与回归 3.1简述决策树分类的主要步骤。 答:决策树生成的过程如下: (1)对数据源进行数据预处理, 得到训练集和测试集; (2)对训练集进行训练; (3)对初始决策树进行树剪枝; (4)由所得到的决策树提取分类规则; (5)使用测试数据集进行预测,评估决策树模型; 3.2给定决策树,选项有:(1)将决策树转换成规则,然后对结果

无名何许人的博客 3092
上一篇: 打造自己的大模型-02篇|LoRA微调大模型的评测和导出
下一篇: 2025 AI人才薪资榜:这5类岗位最紧缺,附详细技能清单
AI_小站
博客等级 码龄3年 6255粉丝 1152原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值