ollama运行GGUF模型

最新推荐文章于 2025-07-10 15:54:49 发布

原创

最新推荐文章于 2025-07-10 15:54:49 发布 · 517 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #java #后端

要想发挥OLLAMA的真正实力🎯, 还是要与JBoltAI搭配食用才能发挥其最大价值🤑😂, JBoltAI欢迎亲的随时关注哟🤩😚~

前期准备

到HuggingFace上下载模型(需要梯子), 没有梯子的可以到ModelScope下载哦~
我测试ModelScope的下载速度总是几百KB, 所以这里我用HF作为例子~

进入HuggingFace, 搜索想要下载的模型

在这里插入图片描述

选择您想下载的模型

在这里插入图片描述

点击FIles and versions

在这里插入图片描述

点击下载

在这里插入图片描述

将模型导入到ollama中并运行

下载好模型后, 为模型对应的创建一个Modelfile文件

(我这里就以公司的模型为例进行操

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qufuyun

关注关注

4
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【ai】如何在ollama中随意使用hugging face上的gguf开源模型

每日出拳老爷子的博客

06-18

3029

ollama的pull命令可以直接pull ollama列表中现有的模型，但是ollama可以直接pull的模型大都是英语偏好（llama2有直接可以pull的chinese版本），而hugging face上则有大量多语种训练的模型，如果能直接使用hugging face上的gguf开源模型，那就自由多了，本篇介绍方法。

【大模型实战】使用Ollama环境搭建以及GGUF模型导入

m0_47867638的博客

02-11

497

Ollama官方链接：https://ollama.com/，打开链接后就可以看到大大的下载按钮，如下图：我选择用Win的安装。

参与评论您还未登录，请先登录后发表或查看评论

Ollama 运行从 ModelScope 下载的 GGUF 格式的模型(DeepSeek 为例)

01-29

7007

Windows 10。

基于ollama和CPU运行本地gguf量化模型

gallonyin的博客

04-10

4009

本文先以Windows电脑运行为例，Linux同理本案运行配置：Win11/CPU i5/RAM 32G （实际运行使用约占用10G）假设你已经下载好了需要的xxx.gguf模型文件，本案：下载地址：https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GGUF。

【LLM大模型】Ollama 运行 GGUF 模型

2301_81888214的博客

09-29

3917

【LLM大模型】Ollama 运行 GGUF 模型

ollama 跑gguf

dannisklx的专栏

07-29

1228

创建一个名为Modelfile的文件，并在其中添加FROM指令，指定要导入的模型的本地文件路径。在Ollama中创建模型。

用ollama进行gguf模型的导出和导入,当然其他的模型同样支持只要是,gguf都可以

02-19

当需要导入一个gguf模型时，用户首先需要将模型文件放置在指定的目录下。接着，在同一目录下创建一个model.txt文件，文件内需指定模型文件的具体路径。使用ollama命令行工具执行导入操作后，即可通过运行指定的名称...

ollama 配置gguf模型

03-28

### 如何配置 Ollama 中的 GGUF 模型 #### 1. 准备工作为了在 Ollama 中成功配置 GGUF 模型，首先需要确保已经下载并安装了 Ollama 工具。可以通过官方文档获取详细的安装指南[^1]。 #### 2. 创建 Modelfile 文件...

Ollama 通过GGUF 文件本地运行任何开源大模型

qq_42881308的博客

03-28

9190

3、打开ollama 终端输入：ollama create baichuan2-7b -f Modelflie.txt。1、下载 GGUF --》Hugging Face 里搜索下载（baichuan gguf、qwen gguf）创建一个新的模型文件名字【baichuan2-7b】使用读取 Modelflie.txt 文件。2、下载文件到本地后然后在同目录创建一个 txt 文建。

Ollama怎么启动.gguf 大模型

本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。

07-29

2556

Llama3-8B。

如何在ollama中导入并运行GGUF模型文件

最新发布

是小驴呀的博客

07-10

2131

在GGUF文件相同的位置创建一个Modelfile文件，使用文本编辑器写一句话表示GGUF模型文件的路径即可。GGUF文件是模型的量化文件，可以从Huggingface或者魔塔社区进行下载。SYSTEM “你是一个专业AI助手，请根据用户输入回答问题，不要编造信息。模型创建成功之后可以通过下面的命令查看。模型创建成功之后可以通过下面的命令查看。

Ollama一键运行GGUF模型

Gblfy_Blog

03-01

659

Ollama一键运行GGUF模型

现在，一行命令使用Ollama运行任意魔搭GGUF模型

python12222_的博客

12-25

2400

Ollama是建立在llama.cpp开源推理引擎基础上的大模型推理工具框架。得益于底层引擎提供的高效模型推理，以及多硬件适配，Ollama能够在包括CPU、GPU在内的，不同的硬件环境上，运行各种精度的GGUF格式大模型。通过一个命令行就能拉起LLM模型服务。通过Ollama，开发者可以更好的使用GGUF模型。

大模型转换为 GGUF 以及使用 ollama 运行

weixin_39249427的博客

04-09

757

GGUF。

将本地的.gguf文件导入ollama

chenlei456的博客

12-01

2728

将./model.gguf换成自己的模型文件地址，最好是吧Modelfile文件跟model.gguf放在一起。将test_model改成自己想要为这个模型取得名字，如图所示。./Modelfile 就是自己的Modelfile文件路径。

Ollama 加载及运行 ModelScope GGUF 模型

学亮编程手记

02-13

1633

Ollama是建立在llama.cpp开源推理引擎基础上的大模型推理工具框架。得益于底层引擎提供的高效模型推理，以及多硬件适配，Ollama能够在包括CPU、GPU在内的，不同的硬件环境上，运行各种精度的GGUF格式大模型。通过一个命令行就能拉起LLM模型服务。ModelScope社区上托管了数千个优质的GGUF格式的大模型（包括LLM和视觉多模态模型），并支持了Ollama框架和ModelScope平台的链接，通过简单的ollama run命令，就能。