ollama 跑gguf

最新推荐文章于 2025-10-09 16:12:31 发布

原创最新推荐文章于 2025-10-09 16:12:31 发布 · 1.2k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

ollama也支持导入运行量化后的GGUF模型，用法很简单：

创建一个名为Modelfile的文件，并在其中添加FROM指令，指定要导入的模型的本地文件路径。

FROM ./vicuna-33b.Q4_0.gguf

在Ollama中创建模型

ollama create example -f Modelfile

运行模型

ollama run example

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

danisklx

关注关注

4
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Ollama系列---【ollama如何安装魔搭社区的gguf的模型？】

-少年-的博客

09-07

317

【代码】Ollama系列---【ollama如何安装魔搭社区的gguf的模型？

Ollama部署本地大模型

m0_63823719的博客

01-05

1万+

Ollama

参与评论您还未登录，请先登录后发表或查看评论

Ollama 通过GGUF 文件本地运行任何开源大模型

chenyu_Yang的博客

05-24

980

3、打开ollama 终端输入：ollama create baichuan2-7b -f Modelflie.txt。1、下载 GGUF --》Hugging Face 里搜索下载（baichuan gguf、qwen gguf）创建一个新的模型文件名字【baichuan2-7b】使用读取 Modelflie.txt 文件。2、下载文件到本地后然后在同目录创建一个 txt 文建。

Ollama 运行从 ModelScope 下载的 GGUF 格式的模型(DeepSeek 为例)

01-29

7020

Windows 10。

Ollama 添加本地模型:GGUF 权重文件导入

最新发布

qq_36620946的博客

10-09

299

Ollama 添加本地模型有多种方式，以下是常见的两种：从 GGUF 权重文件导入：如果你已经下载了 GGUF 权重文件，比如从 Hugging Face 上下载的 Qwen2.5 相关的 GGUF 文件。首先在模型目录创建一个名为Modelfile的文件，文件内容为FROM <你的GGUF文件路径>，例如FROM ./Qwen2.5-VL-7B-Instruct-Q4_0.gguf。

【LLM大模型】Ollama 运行 GGUF 模型

2301_81888214的博客

09-29

3926

【LLM大模型】Ollama 运行 GGUF 模型

Ollama怎么启动.gguf 大模型

本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。

07-29

2556

Llama3-8B。

ollama运行GGUF模型

杂货铺

02-13

518

到HuggingFace上下载模型(需要梯子), 没有梯子的可以到ModelScope下载哦~我测试ModelScope的下载速度总是几百KB, 所以这里我用HF作为例子~

【AIGC】本地部署 ollama(gguf) 与项目整合

Kida 的躺平小屋

04-30

3029

本文将采用 GGUF 预量化大模型结合 Ollama 对代码进行修改，给小伙伴们演示如何逐步实现非 GPU 资源的本地整合方案。

docker 中将dpo后的模型转为ollama能够调用的gguf格式

try2find的专栏

04-21

1379

将dpo后的模型路径/home/pretrained_model/output/ 映射到docker中的/output目录。

使用Ollama配置本地微调的gguf模型文件

weixin_43217276的博客

07-30

3950

在之前的文章中，我们已经得到了经过我们微调的大语言模型，不管是在本地部署使用或者是用OpenWebUI界面部署在服务器上达到和chatGPT界面类似的效果，使用Ollama部署一定是最好的选择。以下均为在Ubuntu系统（Linux）上的测试。

现在，一行命令使用Ollama运行任意魔搭GGUF模型

python12222_的博客

12-25

2400

Ollama是建立在llama.cpp开源推理引擎基础上的大模型推理工具框架。得益于底层引擎提供的高效模型推理，以及多硬件适配，Ollama能够在包括CPU、GPU在内的，不同的硬件环境上，运行各种精度的GGUF格式大模型。通过一个命令行就能拉起LLM模型服务。通过Ollama，开发者可以更好的使用GGUF模型。

基于ollama和CPU运行本地gguf量化模型

gallonyin的博客

04-10

4013

本文先以Windows电脑运行为例，Linux同理本案运行配置：Win11/CPU i5/RAM 32G （实际运行使用约占用10G）假设你已经下载好了需要的xxx.gguf模型文件，本案：下载地址：https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GGUF。

如何在ollama中导入并运行GGUF模型文件

是小驴呀的博客

07-10

2151

在GGUF文件相同的位置创建一个Modelfile文件，使用文本编辑器写一句话表示GGUF模型文件的路径即可。GGUF文件是模型的量化文件，可以从Huggingface或者魔塔社区进行下载。SYSTEM “你是一个专业AI助手，请根据用户输入回答问题，不要编造信息。模型创建成功之后可以通过下面的命令查看。模型创建成功之后可以通过下面的命令查看。

Ollama手动导入GGUF模型文件

热门推荐

weixin_46241866的博客

12-26

2万+

本文详述了GGUF模型下载，并将模型手动导入 Ollama 的操作步骤。

将本地的.gguf文件导入ollama

chenlei456的博客

12-01

2738

将./model.gguf换成自己的模型文件地址，最好是吧Modelfile文件跟model.gguf放在一起。将test_model改成自己想要为这个模型取得名字，如图所示。./Modelfile 就是自己的Modelfile文件路径。

ollama怎么用gpu跑

01-29

### 配置和使用GPU运行Ollama框架 #### 安装依赖项为了确保能够在支持GPU加速的情况下安装并配置Ollama，需先确认已安装NVIDIA CUDA Toolkit及其驱动程序。这一步骤对于启用GPU计算至关重要[^2]。 #### 获取Ollama环境下载适用于操作系统的Docker镜像或二进制文件。由于Ollama兼容macOS、Windows与Linux，并且可以在Docker容器内执行，因此推荐采用官方提供的最新稳定版Docker镜像来简化部署过程。 #### 启用GPU支持当准备就绪后，在启动命令中加入`--gpus all`参数以授予容器访问所有可用GPU资源的权利；如果仅希望分配特定数量或ID的GPU，则可以指定相应的选项。例如： ```bash docker run --gpus=all -itd --name ollama_container ollama_image_name ``` 此指令会创建一个新的名为`ollama_container`的容器实例，并赋予其完全的GPU使用权。 #### 运行带有GPU加速的大规模预训练模型一旦成功设置了具备GPU功能的支持环境，就可以加载所需的大型语言模型（LLMs），比如Llama 2等。利用CLI工具或者RESTful API接口提交推理请求时，默认情况下这些都将受益于之前所配置好的GPU硬件加速特性[^1]。 #### 调整性能参数针对不同的应用场景，可能还需要进一步调整一些影响效率的关键因素，如批处理大小(batch size)、序列长度(sequence length)，以及是否开启混合精度(half precision)运算等等。具体方法取决于实际使用的API文档说明。