windows 部署llama3.0.cpp

原创

已于 2024-12-04 12:31:20 修改 · 1.6k 阅读

32 ·

CC 4.0 BY-SA版权

文章标签：

#windows #llama

于 2024-12-03 21:48:58 首次发布

1.环境准备

1.1 cmake

在cmd上查看这些安装情况，输入cmake --version, 查看cmake是否安装，如果没有安装，参考这个cmake 安装教程，再次输入cmake --version

cmake --version

1.2 git

在cmd中查看git是否安装，没有安装的话参考这个git安装教程，安装完成后cmd中输入git --version

git --version

1.3 anaconda/minconda

这个主要是用来调用llama.cpp中的python模型转换脚本的，只要有相应的python包就可以，笔者这里为了环境不冲突，使用conda 创建的虚拟环境进行python包安装。如果没有anaconda，参照

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

拒绝学姐29次

关注关注

31
点赞
踩
32

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

LLMs之Chinese-LLaMA-Alpaca：基于单机CPU+Windows系统实现中文LLaMA算法进行模型部署(llama.cpp)+模型推理全流程步骤【安装环境+创建环境并安装依赖+原版L

头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀

06-03

1580

LLMs之Chinese-LLaMA-Alpaca：基于单机CPU+Windows系统实现中文LLaMA算法进行模型部署(llama.cpp)+模型推理全流程步骤【安装环境+创建环境并安装依赖+原版LLaMA转HF格式+合并llama_hf和chinese-alpaca-lora-7b→下载llama.cpp进行模型的量化(CMake编译+生成量化版本模型)→部署f16/q4_0+测试效果】的图文教程(非常详细) 目录相关文章在单机CPU+Windows系统上实现中文LLaMA算法

深度学习-74-大语言模型LLM之基于API与llama.cpp启动的模型进行交互

qq_20466211的博客

12-19

510

llama.cpp是一个用于在CPU上高效运行LLaMA(Large Language Model Meta AI)模型的C++库。它支持多种功能，包括聊天(chat)和补全(completion)，这些功能允许用户与模型进行交互或生成文本。

参与评论您还未登录，请先登录后发表或查看评论

windows下部署llama.cpp

qq_36437991的博客

04-01

3491

windows下部署llama.cpp

llama.cpp部署在windows

road_of_god的博客

10-18

5096

并在llama.cpp根目录下创建org-models文件夹，将checklist.chk和tokenizer.model放在其中，再在org-models文件夹中创建7B文件夹，将consolidated.00.pth和params.json放入其中。因为在安装过程中选择了自动添加环境，所以安装完后不用手动添加环境了，但是此时必须得重启电脑，变量才能使用，否则无法对Cmake安装进行测试。在org-models\7B\中生成量化后的文件ggml-model-q4_0.gguf，然后进行推理。

在 Windows 上安装和编译 llama.cpp

最新发布

qq_51341501的博客

06-19

642

本文介绍了在 Windows 系统中安装并编译 llama.cpp 的完整流程，包含环境配置与源码构建两大部分，采用官方推荐的 CMake 构建方式！

windows安装并编译llama.cpp步骤，亲测可用

m0_73156481的博客

05-22

831

需手动新建模型下载目录C:\Users\Administrator\AppData\Local\llama.cpp。-DGGML_CUDA=ON：启用 CUDA 支持（需已安装 CUDA 工具包）。-DLLAMA_CURL=ON：启用 CURL 支持（需已安装 curl）-B build：指定构建目录为 ./build。六、进入build\bin\Release目录开始使用llama。三、下载CUDA toolkits（需要GPU加速可选）四、安装 curl（需要联网下载模型可选）

llama.cpp量化模型以及ollama部署（Windows）

m0_69947303的博客

04-14

1255

【代码】llama.cpp量化模型以及ollama部署（Windows）

llama.cpp部署多模态视觉模型到应用实践

xingxingyu1的博客

03-05

4258

使用llama.cpp部署多模态视觉模型，运行本地模型服务器，在手机端打开摄像头识别场景

DeepSeek R1 671b 满血版部署笔记

全粘工程师

02-14

660

可惜的是，R1 是完完全全的 memory bound，我尝试过 48，64，96，128 四种配置，推理速度的偏差基本都在实验误差范围内，因此选择 48 是完全足够了。总结对于 llama.cpp 这种 CPU + GPU 的方案，内存带宽越高，R1 的推理速度会越快。推理速度获得了近一倍的提升，根据观察推理过程中 CPU/GPU 的变化，可以看到加速的来源主要是 A100 运算速度远快于 CPU，但是最后 text generation 的过程中 A100 是完全闲着的，所以整体上仍然受制于内存带宽。

llama.cpp部署(windows)

wwwsctvcom的博客

12-05

2624

llama.cpp的本地cpu部署

在低配Windows上部署原版llama.cpp

haleycat的博客

06-20

8333

现在大语言模型的部署，通常都需要大的GPU才能实现，如果是仅仅想研究一下，大语言模型的算法，我们是很想能够直接在我们的工作电脑上就能直接运行的，llama.cpp就是很好的实现。LLaMa.cpp使用int4这种数值格式，其显著降低了内存需求，并且在大多数硬件上其性能严重受到内存限制。LLaMa.cpp使用原始C ++的项目来重写LLaMa（长格式语言模型）推理代码。这使得可以在各种硬件上本地运行LLaMa，包括。在使用一些优化和量化技术来量化权重的情况下，LLaMa.cpp。

01-简单几步！在Windows上用llama.cpp运行DeepSeek-R1模型

错位竞争，单点突破。

03-08

1230

Llama.cpp 是一个开源的、轻量级的项目，旨在实现 Meta 推出的开源大语言模型 Llama 的推理（inference）。Llama 是 Meta 在 2023 年开源的一个 70B 参数的高质量大语言模型，而 llama.cpp 是一个用 C++ 实现的轻量化推理端解决方案，适用于运行和测试 Llama 模型。1.轻量化：llama.cpp 是一个非常轻量级的项目，代码简洁且易于编译，适合快速上手和测试。2.开源：完全开源，代码和模型权重都可以自由获取和使用。

windows上搭建llama小型私有模型

wuanwujie的博客

09-24

3673

导言目标一、命令行运行大模型llama安装前的准备运行大模型二、使用python调用模型环境准备使用langchain调用llama模型欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入Markdown。

【Llama2 windows部署详细教程】第二节：llama.cpp成功在windows上编译的秘诀

oandy0的博客

01-20

3020

Llama2 开源大模型推出之后，因需要昂贵的算力资源，很多小伙伴们也只能看看。好在llama.cpp推出之后，可对模型进行量化，量化之后模型体积显著变小，以便能在windows CPU环境中运行，为了避免小伙伴们少走弯路。

AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型

mrbone11的博客

04-21

1740

本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升项目地址https://github.com/ymcui/Chinese-LLaMA-Alpaca-2。

window11 本地部署大模型拉玛3（llama3）

weixin_45070882的博客

01-17

1060

本地部署可以离线访问的大语言模型，可以通过浏览器随时随地进行交互，不需要购买任何服务器只需要在您自己的笔记本电脑上就可以完成整个的安装和部署，使用的软件都是开源免费的不需要缴纳任何费用，支持国内外主流的大模型可以使用语言对话，也可以嵌入到自己网站上做一个智能客服或者AI助手。

本地LLM部署--llama.cpp

qq_43819568的博客

12-29

6366

llamma.cpp），也是本地化部署LLM模型的方式之一，除了自身能够作为工具直接运行模型文件，也能够被其他软件或框架进行调用进行集成。默认编译流程设计更多针对 Linux/macOS，所以在 Windows 上需要额外设置和工具支持。从Visual Studio 官网下载并安装。在安装时选择C++ 桌面开发工作负载。下载和配置llama.cpp克隆项目：git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp使用。

Llama2通过llama.cpp模型量化 Windows&Linux本地部署

早安不安的博客

11-11

9275

本地部署和使用llama.cpp进行量化Llama2，linux和Windows平台方案，支持CPU和GPU多版本。

deepseek本地部署最低配置

02-19

<think>嗯，用户问的是DeepSeek本地部署的最低配置。首先，我需要明确DeepSeek是什么。可能是指深度求索公司的某个AI模型，比如他们的自然语言处理模型。类似ChatGPT的那种大语言模型？那本地部署的话，通常需要考虑硬件配置，比如CPU、内存、GPU这些。用户可能想知道在本地运行这样的模型需要什么最低的硬件要求，或者可能包括软件依赖。首先，得确定具体是哪个模型。比如，如果是大模型，可能需要较高的GPU显存。比如，7B参数的模型可能需要至少8GB显存，13B的可能需要更高。但如果是量化版的，比如4-bit，可能可以降低显存需求。然后，CPU方面，可能需要多核的，比如Intel i5或更高，或者AMD的Ryzen系列。内存方面，大模型可能需要至少16GB，甚至32GB，尤其是如果没有GPU的话，内存需求会更大。存储空间也不能忽视，模型文件可能从几GB到几十GB不等，比如7B的模型大约13-14GB，所以至少需要足够的SSD空间。软件方面，可能需要Python环境，深度学习框架如PyTorch，CUDA支持如果使用NVIDIA GPU。操作系统的话，Linux可能更常见，但Windows也可能支持。不过，用户问的是最低配置，所以可能需要给出不同情况下的最低要求，比如有没有GPU的情况。比如，如果使用CPU推理，可能需要更大的内存和更快的CPU，但速度会慢很多。另外，可能要考虑推理框架，比如llama.cpp或者DeepSpeed，这些可以优化资源使用。比如，llama.cpp可以在没有GPU的情况下运行，但需要足够的内存。还要注意，不同的模型版本可能有不同的需求，比如是否量化。所以可能需要建议用户查看官方文档，或者给出一般性的指导。可能需要分情况讨论：有GPU的情况和纯CPU的情况。比如，使用GPU的话，最低需要什么样的显卡，显存多少。纯CPU的话，需要多少内存和什么样的处理器。另外，可能的误区是用户可能以为本地部署只需要满足最低配置就能流畅运行，但实际上可能需要更高的配置才能有可用的速度。所以需要提醒用户，最低配置可能只能运行，但实际体验可能不佳。总结一下，可能需要包括以下几个方面： 1. 模型参数规模（如7B、13B等）对应的配置。 2. GPU：型号、显存要求。 3. CPU：核心数、频率。 4. 内存：容量。 5. 存储：硬盘空间。 6. 软件依赖：操作系统、框架、驱动等。 7. 量化版本的影响。 8. 推理速度的预期。需要确认是否有官方文档参考，但假设没有的话，只能根据常见的同类模型配置来推断。同时要提醒用户实际需求可能因应用场景和模型版本而异，建议参考官方文档。Deep</think>Seek（深度求索）的本地部署最低配置需求会根据具体模型规模和应用场景有所不同，以下是一般性建议（以常见的7B/13B参数模型为例）： --- ### **一、硬件配置** #### **1. GPU方案（推荐）** - 7B模型（FP16）：约14GB显存（若使用4-bit量化可降至6-8GB） - 13B模型（FP16）：约26GB显存（4-bit量化约10-12GB） - **CPU**： - 四核以上（如Intel i5或AMD Ryzen 5，支持AVX指令集） - **内存**： - 至少16GB（建议32GB，若纯CPU推理需更高内存） - **存储**： - SSD硬盘，至少50GB可用空间（模型文件+系统依赖） #### **2. 纯CPU方案（速度较慢）** - **CPU**： - 支持AVX2指令集的多核处理器（如Intel i7或AMD Ryzen 7） - 建议8核以上，主频≥3.0GHz - **内存**： - 32GB及以上（7B模型需约20GB内存，13B需40GB+） - **存储**：同GPU方案。 --- ### **二、软件依赖** - **操作系统**： - Linux（Ubuntu 20.04+）或 Windows 10/11（WSL2兼容性更佳） - **框架与工具**： - CUDA 11.7+（GPU必需） + cuDNN - Python 3.8+、PyTorch 2.0+、Transformers库 - 可选优化工具：llama.cpp、vLLM、DeepSpeed等 - **驱动**： - NVIDIA驱动≥515.0（GPU必需） --- ### **三、配置优化建议** 1. **模型量化**： - 使用4/8-bit量化技术（如GGUF格式）可大幅降低显存和内存占用，但可能轻微影响精度。 2. **推理框架**： - 推荐llama.cpp（CPU优化）或TensorRT-LLM（GPU加速），提升推理速度。 3. **多GPU支持**： - 若需部署更大模型（如33B+），需多卡并行（如2×RTX 4090）。 --- ### **四、注意事项** - **速度与性能**： - 最低配置仅支持基础推理，批量处理或复杂任务需更高配置。 - 纯CPU推理延迟较高（如7B模型生成100词需数分钟）。 - **官方文档**： - 建议以DeepSeek官方发布的最新部署指南为准（不同模型版本可能有差异）。如需部署具体模型，请提供更多细节以便进一步优化建议！